多節點火花集羣上的spark-shell無法在遠程工作節點上運行sponser execution

Question

在獨立模式下安裝了spark集羣，第一個節點上有2個節點，spark主節點正在運行，另一個節點上有spark worker。當我嘗試用字計數代碼工作節點上運行的火花外殼運行良好，但是當我嘗試在主節點上運行的火花外殼它提供了以下的輸出：

WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 

執行人不會被觸發運行作業。即使有工作人員可以提供這樣的問題來激發掌握。任何幫助appriciated，謝謝

Answer 1

您使用客戶端部署模式，所以最好的選擇是執行程序節點無法連接到本地計算機上的驅動程序端口。它可能是防火牆問題或廣告IP /主機名的問題。請確保：

• spark.driver.bindAddress
• spark.driver.host
• spark.driver.port

使用預期值。請參閱Spark documentation的網絡部分。

不太可能是缺乏資源。請檢查您是否需要比工作人員提供的資源更多的資源。