本地磁盤配置

喜官方星火文檔狀態：本地磁盤配置

雖然星火可以執行存儲大量的計算，它仍然使用本地磁盤來存儲不適合在RAM中的數據，以及保留階段之間的中間輸出。我們建議每個節點配置4-8個磁盤，配置不使用RAID（就像分開安裝分）。在Linux中，使用noatime選項裝入磁盤以減少不必要的寫入。在Spark中，將spark.local.dir變量配置爲本地磁盤的逗號分隔列表。如果您正在運行HDFS，則可以使用與HDFS相同的磁盤。

我不知道什麼是4-8

它是並行寫入目的每個節點？我不確定要理解爲什麼沒有解釋。

我不知道這個：「如果你正在運行HDFS，它的優良使用相同的磁盤作爲HDFS」。

任何想法，在這裏是指......

來源

2017-08-11 MaatDeamon

目的使用4-8 RAID磁盤鏡像添加冗餘，以防止硬件級故障的情況下丟失數據的分區。在HDFS的情況下，RAID提供的冗餘不再需要，因爲HDFS通過節點之間的複製來處理它。 Reference

來源

2017-08-11 07:29:23 FaigB

我可能不明白你的意思，但官方文檔說沒有RAID和你的評論談到有RAID的磁盤。如果我理解的很好，4到8個磁盤沒有或沒有hdfs。因此，你的評論添加了一些更多的困惑，雖然鏈接是有趣的下標 – MaatDeamon

如果執行者有8個任務，那麼他最好有8個磁盤？鏡像分區使用?? – MaatDeamon

如果你有適當的複製級別配置hdfs沒有要求raid。 – FaigB

本地磁盤配置

回答

相關問題