Apache Spark 2.1.0 - 基本設置：工作節點不能與主節點連接

我試圖讓兩個虛擬機運行Apache Spark來連接;一個主人和一個工人。我正在使用VirtualBox和一個host-only網絡適配器。這些虛擬機能夠彼此相互訪問，但是當我啓動該工作器時，它不會出現在主站的Web UI中。Apache Spark 2.1.0 - 基本設置：工作節點不能與主節點連接

我使用的是主人的是10.10.10.2和工人的10.10.10.3

我spark-env.sh文件配置爲包括靜態IP地址：

SPARK_MASTER_IP=10.10.10.2

我首先啓動主節點：

./start-master.sh 

starting org.apache.spark.deploy.master.Master, logging to /usr/lib/spark/logs/spark-masternode-org.apache.spark.deploy.master.Master-1-masternode.out

然後工人：

./start-slave.sh spark://10.10.10.2:7077 

starting org.apache.spark.deploy.worker.Worker, logging to /usr/lib/spark/logs/spark-modelnode1-org.apache.spark.deploy.worker.Worker-1-modelnode1.out

產生的主節點GUI的輸出：

screenshot

如果從工人我nmap 10.10.10.2：

Nmap scan report for 10.10.10.2 
Host is up (0.00035s latency). 
Not shown: 998 closed ports 
PORT  STATE SERVICE 
22/tcp open ssh 
8080/tcp open http-proxy

我不知道這是否是相關的，但它並不顯示任何東西7077

任何幫助非常感謝！

來源

2017-03-01 macourtney7

您確定沒有阻止連接的防火牆規則（請參閱'iptables -L'）嗎？ –

@JamesFry，沒有規則列出。感謝您的建議。 – macourtney7

完全錯過了您使用Spark 2.1.0，對不起！ –

SPARK_MASTER_IP已棄用，不再在Spark 2.x中使用。您可以使用：

SPARK_MASTER_HOST環境變量
-h/--host選項sbin/start-master.sh。

來源

2017-03-01 16:34:06 user6910411

謝謝你。改變它，它直接工作！ – macourtney7

Apache Spark 2.1.0 - 基本設置：工作節點不能與主節點連接

回答

相關問題