線程「main」中的Spark異常java.net.BindException：無法綁定到：/10.3.100.169:0

Question

當我將應用程序提交給獨立羣集時，我遇到了此異常。

奇怪的是它來了幾次。我已經將SPARK_LOCAL_IP設置爲正確的IP地址。

但我不明白爲什麼總是工作訪問端口0

的環境是：

VM1：10.3.100.169，運行主機和從機

VM2：10.3.101.119，運行從機

任何人遇到此問題？任何關於如何解決的想法？

這裏是命令行和spark-env.sh

bin/spark-submit --master spark://10.3.100.169:7077 --deploy-mode cluster --class ${classname} --driver-java-options "-Danalytics.app.configuration.url=http://10.3.100.169:9090/application.conf -XX:+UseG1GC" --conf "spark.executor.extraJavaOptions=-Danalytics.app.configuration.url=http://10.3.100.169:9090/application.conf -XX:+UseG1GC" ${jar} 

SPARK_LOCAL_IP=10.3.100.169 
SPARK_MASTER_IP=10.3.100.169 
SPARK_PUBLIC_DNS=10.3.100.169 
SPARK_EXECUTOR_MEMORY=3g 
SPARK_EXECUTOR_CORES=2 
SPARK_WORKER_MEMORY=3g 
SPARK_WORKER_CORES=2 

感謝

Answer 1

如果我們考慮星火的全新安裝使用其默認的配置，下面的步驟應該創建工作星火獨立羣集。

1.配置/ etc/hosts中的主機和從機文件

你的主機在兩個節點上的文件應該像主人和工人之間

127.0.0.1 localhost 
10.3.100.169 master.example.com master 
10.3.101.119 slave.example.com slave 

2.設置密碼的SSH

在主執行以下命令

# change to the user you are going to use to run Spark eg. 'spark-user' 
su - spark-user  
ssh-keygen 
ssh-copy-id -i ~/.ssh/id_rsa.pub spark-user@slave 
ssh-copy-id -i ~/.ssh/id_rsa.pub spark-user@master #(since you want to start a worker on master too) 

驗證您是否能夠通過SSH從主到從不用密碼

參考：setup passwordless ssh
3.配置的conf /奴隸的所有節點

你的奴隸文件應該是這樣的文件：

master.example.com 
slave.example.com 

4.啓動集羣

sbin/start-all.sh 

希望這有助於！