Apache Spark：如何更改Spark驅動程序偵聽的端口

我試圖在客戶端模式下使用Yarn作爲主服務器運行Spark作業，而且我正面臨特定問題。日誌中說Yarn ApplicationMaster正在等待Spark驅動程序可到達，然後在某個時候拋出一個異常，說明Yarn ApplicationMaster無法連接到驅動程序的10.60.18.77：34332。現在，我知道IP可以訪問，但端口並不是因爲防火牆阻止了它。試圖讓管理員打開一個端口是很乏味的。那麼是否有一種方法可以讓紗線應用程序監聽另一個端口20002，我知道它是開放的而不是34332？Apache Spark：如何更改Spark驅動程序偵聽的端口

來源

2016-03-15 thisisshantzz

你可以做到這一點在你的設置spark.driver.port=20002

例如火花提交，你可以使用的東西LIK：

$ spark-submit --master yarn-client --conf spark.driver.port=20002 ....

來源

2016-03-15 13:41:51 user1314742

非常感謝。這工作。 – thisisshantzz

Apache Spark：如何更改Spark驅動程序偵聽的端口

回答

相關問題