我都推出兩個節點的一小簇,發現主保持完全空閒而從做所有的工作。我想知道讓主人執行一些任務的方式是什麼。據我所知,對於更大的簇具有專用主可能是必要的,但一個2節點羣集上似乎矯枉過正。空閒Hadoop的高手 - 如何讓它做一些工作?
感謝您的任何提示,
瓦茨拉夫
更多的細節:
兩個盒子各有2個CPU。該集羣已在Amazon Elastic MapReduce上設置,但我正在從命令行運行hadoop。
我剛在該集羣有:
Hadoop 0.18
java version "1.6.0_12"
Java(TM) SE Runtime Environment (build 1.6.0_12-b04)
Java HotSpot(TM) Server VM (build 11.2-b01, mixed mode)
hadoop jar /home/hadoop/contrib/streaming/hadoop-0.18-streaming.jar \
-jobconf mapred.job.name=map_data \
-file /path/map.pl \
-mapper "map.pl x aaa" \
-reducer NONE \
-input /data/part-* \
-output /data/temp/mapped-data \
-jobconf mapred.output.compress=true
,其中輸入由18個文件。