Hortonworks Oozie Spark動作

Question

有沒有人成功通過Oozie在HDP中運行Spark動作？

我在使用Oozie 4.2.0的HDP 2.3.2上運行。火花動作設定爲以紗線簇模式運行。火花作業是虛擬的，沒有輸入文件。

我已經先打了錯誤並here管理通過從HDFS Oozie的火花lib文件夾下面繞過它（在我的情況：/user/oozie/share/lib/lib_20151116201309/spark/）：

• Tachyon的0.5.0.jar
• Tachyon的客戶端 - 0.5.0.jar（二者由於this誤差）
• 火花core_2.10-1.1.0.jar
• 火花graphx_2.10-1.1.0.jar
• 火花-strea ming_2.10-1.1.0.jar

並添加工作流程中的lib文件夾以下：

• DataNucleus將-API-JDO-3.2.6.jar
• DataNucleus將核 - 3.2 .10.jar
• DataNucleus將-RDBMS-3.2.9.jar
• 火花1.4.1.2.3.2.0-2950-紗線shuffle.jar
• 火花組裝1.4.1.2.3.2.0 -2950-hadoop2.7.1.2.3.2.0-2950.jar
• 火花例子-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar

現在我的土地上出現以下錯誤：

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Call From hdp4/10.10.1.84 to 0.0.0.0:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused java.net.ConnectException: Call From hdp4/10.10.1.84 to 0.0.0.0:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

我提即：

• 無論是在job.properties文件和紗線的配置文件，作業跟蹤器/資源管理器端口設置爲8032
• 應用拼命地跑了20分鐘〜（我多次和觀察日跑了是時機）

Answer 1

下面是我爲了讓SparkAction在HDP 2.3.4上工作而執行的步驟。

1. 備份Oozie sharelib spark文件夾並刪除除oozie-sharelib-<spark-version>.jar以外的所有罐子。在我的情況下，我只是將spark文件夾重命名爲spark-backup並創建了一個新的spark文件夾，然後複製了我提到的jar。
2. 將$SPARK_HOME/lib中的所有罐子複製到Oozie sharelib spark文件夾中。
3. 重新啓動Oozie
4. 更改yarn.resourcemanager。通過Ambari
5. 重新啓動的紗處理，以<myhost>:8032

我或多或少同樣的問題之前，讓我在Hortonworks社區，這是幫助我終於得到它的工作發表在這個question。