亞馬遜彈性MapReduce上的Apache哈馬

Question

我試圖使用https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama腳本在亞馬遜彈性MapReduce上運行Apache哈馬。但是，當嘗試使用一個主節點和兩個從節點時，BSP代碼中的peer.getNumPeers()僅報告1個對等節點。我懷疑哈馬是否在local模式下運行。

而且，看着在https://hama.apache.org/getting_started_with_hama.html配置，我的理解是，所有的服務器列表應該hama-site.xml文件去物業hama.zookeeper.quorum並在groomservers文件。但是，我想知道這些配置是否在install script中正確配置。如果有人能指出這是腳本的限制還是我做錯了，我會很感激。

Answer 1

@Madhura

哈馬並不總是需要groomserver文件運行完全分佈式模式。 groomserver文件需要運行hama集羣僅使用start-bspd.sh。但hama的emr-bootstrap-action使用hama-daemon.sh文件在每個從節點上運行groomservers。在install script中執行的代碼如下。

$ /bin/hama-daemon.sh --config ${HAMA_HOME}/conf start groom

我認爲你需要檢查EMR日誌是否有錯誤或沒有。