2010-09-14 51 views
1

我都推出兩個節點的一小簇,發現主保持完全空閒而從做所有的工作。我想知道讓主人執行一些任務的方式是什麼。據我所知,對於更大的簇具有專用主可能是必要的,但一個2節點羣集上似乎矯枉過正。空閒Hadoop的高手 - 如何讓它做一些工作?

感謝您的任何提示,

瓦茨拉夫

更多的細節:

兩個盒子各有2個CPU。該集羣已在Amazon Elastic MapReduce上設置,但我正在從命令行運行hadoop。

我剛在該集羣有:

Hadoop 0.18 
java version "1.6.0_12" 
Java(TM) SE Runtime Environment (build 1.6.0_12-b04) 
Java HotSpot(TM) Server VM (build 11.2-b01, mixed mode) 


hadoop jar /home/hadoop/contrib/streaming/hadoop-0.18-streaming.jar \ 
      -jobconf mapred.job.name=map_data \ 
      -file /path/map.pl      \ 
      -mapper "map.pl x aaa"          \ 
      -reducer NONE          \ 
      -input /data/part-*           \ 
      -output /data/temp/mapped-data         \ 
      -jobconf mapred.output.compress=true 

,其中輸入由18個文件。

回答

0

其實Hadoop的主人是不是一個做工作(任務運行)。 您可以在同一臺機器上啓動的DataNode和TaskTracker共同主運行。

0

類Hadoop用戶列表史蒂夫·勞倫認爲,在主開始的TaskTracker會做的伎倆。

$斌/ hadoop-daemon.sh開始的TaskTracker

似乎工作。您可能需要調整此任務跟蹤器的插槽數量。

0

對於Hadoop 0.18可能不同,但您可以嘗試將主服務器的IP地址添加到conf/slaves文件 - 然後重新啓動集羣