Q

是否可以通過EMR（通過VPC）看到Spark UI？

2016-11-05 48 views 0 likes

0

我已經經歷了https://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-ssh-tunnel-local.html中描述的過程，通過本地端口轉發打開ssh隧道，然後轉到http://localhost:8157/。是否可以通過EMR（通過VPC）看到Spark UI？

這將彈出Hadoop/YARN界面，此時我點擊Tracking UI/ApplicationMaster鏈接，並收到「此站點的服務器DNS無法找到」頁面。

根據AWS文檔http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-spark-history.html應該將我帶到Spark UI。

是否有另一個步驟我錯過了能夠看到Spark UI？

2016-11-05 flybonzai

A

回答

1

最好的體驗來自於通過SSH使用SOCKS代理，以便它可以動態支持URL和端口。看看https://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-ssh-tunnel.html。

2016-11-06 02:28:10 ChristopherB

+0

一旦你打開SOCKS代理，你應該去的網址是什麼？這是我似乎無法找到的。 – flybonzai

+0

啓用SOCKS後，返回到EMR控制檯，選擇羣集，並在頂部如果代理設置，您將看到超級鏈接到資源管理器，從中選擇應用程序URL將正確重定向到Spark應用程序的Spark UI。 – ChristopherB

相關問題