如何在亞馬遜上啓動emr集羣？

我已經在1個主站和2個從站的亞馬遜Web服務中設置了EMR集羣。我不知道是否應該使用start-all.sh命令啓動集羣上的節點。或者，我如何啓動EMR羣集節點？如何在亞馬遜上啓動emr集羣？

2016-04-25 nisanur

您可以使用AWS控制檯或AWS CLI創建EMR羣集。

aws emr create-cluster \ 
    --name "1-node dummy cluster" \ 
    --instance-type m3.xlarge \ 
    --release-label emr-4.1.0 \ 
    --instance-count 1 \ 
    --use-default-roles \ 
    --applications Name=Spark \ 
    --auto-terminate

沒有必要使用start-all.sh啓動服務。默認情況下，所有服務將自動啓動。如果你想包括任何額外的服務，你可以使用引導捆綁添加這些服務。

來源

2016-04-25 11:01:28

我已經創建了一個集羣。當我運行jps命令時，我看到「jps，main，StatePusher，MetricsServer」。由於無法從WEB UI連接ResourceManager或MasterNode，因此我不知道節點是否運行成功。 – nisanur

「MasterNode」是什麼意思？如果您的意思是Spark Master UI，那麼Spark並不是用於EMR的，因爲Spark配置爲在YARN上運行。 Spark Master專用於Spark Standalone模式，目前EMR不支持該模式。 –

感謝您的回答。我解決了我的問題。我可以看到節點正在「監視」羣集的一部分中運行。我認爲可能有一個命令來啓動像Hadoop這樣的節點。但是不需要命令來啓動節點。 – nisanur

如何在亞馬遜上啓動emr集羣？

回答

相關問題