2015-07-21 70 views
0

在運行此命令:java.net.ConnectException(端口9000),同時提交的火花工作

~/spark/bin/spark-submit --class [class-name] --master [spark-master-url]:7077 [jar-path] 

我越來越

了java.lang.RuntimeException:java.net.ConnectException :呼籲ec2- [IP] .compute-1.amazonaws.com/[內部IP地址]:失敗的連接異常:java.net.ConnectException:連接被拒絕

使用spark版本1.3.0

我該如何解決?

+0

您是否在紗線上運行? – Abdulrahman

+0

@Abdulrahman不,獨立模式。 – kamalbanga

+0

你是否從代碼中讀取本地文件系統中的一些文件?如果是這樣,請使用此首字母「file://」並讓我知道。 – Abdulrahman

回答

2

當Spark在集羣模式下運行時,所有輸入文件都將來自HDFS(否則工作人員將如何從主控本地文件讀取)。但在這種情況下,Hadoop沒有運行,所以它給了這個例外。

開始HDFS解決了這個問題。