2014-10-02 151 views
2

我是Hadoop的新手。我在運行Ubuntu 13.03的單個虛擬機上配置了獨立的hadoop安裝。使用start-all.sh啓動Hadoop的過程後,jps命令顯示如何在獨立hadoop安裝(僞分佈式)上啓動多個datanode進程

775 DataNode 
1053 JobTracker 
962 SecondaryNameNode 
1365 Jps 
1246 TaskTracker 
590 NameNode 

按我的理解的Hadoop已經開始與1個NameNode和1周的DataNode。我想創建多個datanode進程,即多個datanode實例。有什麼辦法可以做到嗎?

回答

0

如何安裝和配置Hadoop有多種可能性。

  1. 本地(獨立)模式 - 這意味着所有的Hadoop組件在一個勁兒地Java進程運行
  2. 僞分佈式模式 - Hadoop的運行其所有組件(數據節點,tastracker,JobTracker的,名稱節點,...)作爲單獨的Java進程。它作爲完全分佈式安裝的模擬服務器,但僅在本地機器上運行。
  3. 分佈式模式 - 完全分佈式安裝。沒有任何細節:有些機器扮演「奴隸」角色,包含Datanode + Tasktracker組件,並且有一臺服務器扮演「主人」角色幷包含Namenode + JobTracker。

如果您想在單機上運行Hadoop,那麼您有前兩個選項。在單個節點上以完全分佈模式運行它是不可能的。也許你可以做一個解決方法,但從基本觀點來看它是不存在的。 Hadoop被設計成一個分佈式系統,它可以在單臺機器上運行,僅用於調試/試用。

欲瞭解更多詳情,請按照Hadoop documentation。我希望我回答你的問題。

+0

爲什麼不能在一臺機器上以完全分佈模式使用Hadoop(如果機器有很多內核並且任務涉及大數據)? – AST 2015-07-30 20:26:13