如何將EMR集羣連接到EC2服務器

我使用spark來計算並行任務。爲了做到這一點，我的項目連接到一個服務器，該服務器產生一些我需要的數據來啓動我的火花作業。如何將EMR集羣連接到EC2服務器

現在我想將我的項目遷移到aws上的雲。

我在EMR上獲得了我的Spark應用程序，並在EC2上獲得了我的服務器。如何讓我的EMR spark應用程序能夠在我的EC2服務器上使用http請求？我需要類似網關的東西嗎？

謝謝，

有一個愉快的一天。

來源

2017-07-27 DeepProblems

您的EMR集羣實際上在EC2服務器上運行。你可以隨時SSH到這些服務器。然後肯定你可以ssh到另外一個ec2服務器從emr ec2服務器

來源

2017-07-27 16:09:14 Deepak

你是對的，但我不夠準確......我想從EMR使用http來調用EC2上的api。我不確定SSH是否是解決方案，是嗎？我只知道ssh作爲使用遠離機器的一種方式。我會編輯我的文章，以使其更加準確。 – DeepProblems

http更容易;所有你需要的是從你的EMR EC2服務器向你的其他EC2服務器發送一個http請求（使用curl/wget） – Deepak

你的意思是EMR和EC2實例已經互相認識了嗎？我認爲有一些調整讓他們在同一個網絡上。好的，謝謝你的回答，我會檢查一下。祝你今天愉快。 – DeepProblems

根據我的經驗，你應該使用ssh [email protected]###-##-##-###.compute-1.amazonaws.com -i /path/mykeypair.pem而不是ssh -i /path/mykeypair.pem -ND 8157 [email protected]###-##-##-###-.compute.amazonaws.com。第二個命令沒有迴應。

來源

2017-12-10 21:48:19 Zhijian

如何將EMR集羣連接到EC2服務器

回答

相關問題