2017-08-01 85 views
-3

我只是試圖在本地Spark設置中執行Apache Beam示例代碼。我生成了源文件並構建了this page中提到的包。並使用spark-submit如下提交罐子,當通過spark-submit提交時,Apache Beam作業掛起

$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts 

代碼被提交併開始執行。但卡在步驟Evaluating ParMultiDo(ExtractWords)。以下是提交作業後的日誌。

我無法找到任何錯誤消息。有人可以幫助找到最新的錯誤?

編輯:我也用下面的命令,

~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts 

的工作,現在停留在INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)嘗試。附上下面的Spark歷史記錄& Dashboard的屏幕截圖。儀表板顯示作業正在運行,但完全沒有進展。

enter image description here enter image description here

+0

Downvoters,有什麼理由? –

回答

0

這僅僅是一個版本的問題。我能夠在Spark 1.6.3中運行這項工作。感謝所有那些沒有解釋就投下了這個問題的人。