8
我在一個kerberized集羣上運行Spark 1.1.0，HDP 2.1。我可以使用--master yarn-client成功運行spark-submit，並將結果正確寫入HDFS，但該作業不會顯示在Hadoop All Applications頁面上。我想運行使用--master絲簇火花提交，但我不斷收到此錯誤：運行spark-submit -master yarn-cluster：spark-assembly問題
appDiagnostics: Application application_1417686359838_0012 failed 2 times due to AM Container
for appattempt_1417686359838_0012_000002 exited with exitCode: -1000 due to: File does not
exist: hdfs://<HOST>/user/<username>/.sparkStaging/application_<numbers>_<more numbers>/spark-assembly-1.1.0-hadoop2.4.0.jar
.Failing this attempt.. Failing the application.
我已經供應了訪問羣集我的帳戶。我已經配置了yarn-site.xml。我清除了.sparkStaging。我試過包括--jars [在spark/lib中我的spark組件的路徑]。我發現this question非常相似，但沒有答案。我不知道這是2.1問題，spark 1.1.0，kerberized集羣，配置還是什麼。任何幫助將非常感激。
遇到同樣的問題。你有沒有得到它的工作？將不勝感激任何指針。謝謝。 – DilTeam 2015-02-20 19:23:16
似乎升級到更新版本的Spark幫助。我現在正在使用Spark 1.3，但它在1.2.1中工作得很好。希望有所幫助！ – jackar 2015-03-21 20:06:31