Hadoop Datanode配置內核和內存

我正在使用具有9個節點的Hadoop集羣。我想知道Hadoop集羣中的基本datanode配置是什麼。Hadoop Datanode配置內核和內存

我在Namenode和Datanode上使用以下配置。

RAM = 4GB 
    Cores = 4 
    Disk = 8 (Total 16GB storage space)

運行樣本排序和字數統計作業來檢查hadoop網絡的性能。

我選擇的配置是正確的嗎？

感謝&問候，

阿卜杜勒Navaz

2014-10-07 navaz

對此的評論如何？ – navaz 2014-10-12 14:03:37

從理論上講，你可以使用任何你想要的配置，只要它被正確配置（這樣的Hadoop知道服務器功能等）。

實際上，每臺服務器至少應有4GB的RAM（根據我的經驗）。內核數量會影響性能，並且您應該有足夠的可用磁盤空間來運行服務器（使用hdfs-site.xml中的設置dfs.datanode.du.reserved設置爲非HDFS事物（例如服務器工作）保留的空間量。

我不確定您的正常Hadoop工作應具有多少可用空間 - 我想這取決於您的工作。在任何情況下16GB都不是很多。

一般來說，只要配置正確，您的設置應該沒問題。

2014-10-13 08:16:38

回答