-3
我只是試圖在本地Spark設置中執行Apache Beam示例代碼。我生成了源文件並構建了this page中提到的包。並使用spark-submit如下提交罐子,當通過spark-submit提交時,Apache Beam作業掛起
$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
代碼被提交併開始執行。但卡在步驟Evaluating ParMultiDo(ExtractWords)
。以下是提交作業後的日誌。
我無法找到任何錯誤消息。有人可以幫助找到最新的錯誤?
編輯:我也用下面的命令,
~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
的工作,現在停留在INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)
嘗試。附上下面的Spark歷史記錄& Dashboard的屏幕截圖。儀表板顯示作業正在運行,但完全沒有進展。
Downvoters,有什麼理由? –