在羣集中啓動和停止hadoop守護進程/進程

Question

我有一個有9個節點的Linux羣集，並且我安裝了hadoop 1.0.2。我有一個使用多個從站的GIS程序。我需要通過使用1,2,3,4,8個從節點來測量我的程序的加速。我使用start-all.sh/stop-all.sh腳本來啓動/停止羣集，一旦我通過改變從站的數量來改變conf/slaves文件。 但是我這樣做時出現了更奇怪的錯誤，並且感覺我沒有使用正確的技術在羣集中添加/刪除從屬節點。

任何有關理想的「技術來改變從屬文件並重啓羣集」的幫助將不勝感激。

Answer 1

問題可能是您不允許Hadoop正常從系統中刪除節點。

你想要做的是decommissioning節點，以便HDFS有時間重新複製其他地方的文件。該過程本質上是將一些節點添加到excludes文件中。然後，運行bin/hadoop dfsadmin -refreshNodes，讀取配置並刷新羣集的節點視圖。

添加節點時，甚至可能在刪除節點時，應考慮運行rebalancer。這將平均分散數據，並有助於您在新節點沒有任何數據時可能會看到的某些性能。