hadoop HDFS blcok size sizes

Question

有人可以告訴我設置HDFS塊的大小，下列哪些考慮因素是最不重要的。內存上的NameNode

1. 金額
2. namenodes數。
3. 文件數將存儲在典型的文件HDFS
4. 大小將存儲在名稱節點的HDFS
5. 磁盤容量。

Answer 1

我認爲重要的是： 1. namenode上的內存量 - 更多的內存意味着你可以允許更多的塊，使它們更小。
2.總是有一個名稱節點。輔助名稱節點不影響可伸縮性。
3.您要存儲的文件越大，需要的塊越大。
4.使塊大小更大，然後典型的文件大小沒有意義。換句話說 - 如果你的典型文件是幾十MB - 塊大小doez並不重要。
5.通常無關緊要，因爲NameNode將所有內容存儲在內存中，並且通常磁盤要大得多。

我會告訴大塊大小在大多數情況下會更好，因爲您獲得NameNode內存，您可以減少地圖任務的數量，並且如果有足夠的文件需要處理 - 您可以使用所有任務跟蹤器任何狀況之下。