Datastax Spark worker始終在127.0.0.1處尋找主服務器

我正嘗試通過使用「dse cassandra -k -s」以分析模式調用datastax cassandra。我在單個節點設置上使用DSE 5.0沙箱。Datastax Spark worker始終在127.0.0.1處尋找主服務器

我已經用SPARK_MASTER_IP和SPARK_LOCAL_IP配置spark-env.sh來指向我的LAN IP。

export SPARK_LOCAL_IP="172.40.9.79" 
export SPARK_MASTER_HOST="172.40.9.79" 
export SPARK_WORKER_HOST="172.40.9.79" 
export SPARK_MASTER_IP="172.40.9.79"

以上所有變量均在spark-env.sh中設置。

儘管這些，工人不會上來。它一直在尋找在127.0.0.1.This主是我在/var/log/cassandra/system.log看到的錯誤

WARN [worker-register-master-threadpool-8] 2016-10-04 08:02:45,832 SPARK-WORKER Logging.scala:91 - Failed to connect to master 127.0.0.1:7077 
java.io.IOException: Failed to connect to /127.0.0.1:7077

從DSE客戶端工具結果表明127.0.0.1

$ dse client-tool -u cassandra -p cassandra spark master-address 
spark://127.0.0.1:7077

但是我能夠從LAN IP 172.40.9.79

Spark Web UI screenshot

任何幫助是極大的讚賞

訪問火花的web用戶界面

來源

2016-10-04 I.Peer

我已經把本地主機的cassandra.yaml中的listen_address留下了。指着172.40.9.79解決了問題 –

嘗試在文件spark-defaults.conf中添加此參數：spark.master local [*]或spark.master 172.40.9.79。也許這就解決了你的問題

來源

2016-10-05 00:06:40

這並沒有幫助，謝謝你的建議。我通過在cassandra.yaml文件中將listen_address指向172.40.9.79來修復它 –

Datastax Spark worker始終在127.0.0.1處尋找主服務器

回答

相關問題