2016-12-16 130 views
0

我從oozie工作流觸發spark工作時遇到異常。任何想法可能是什麼問題?無法從oozie提交spark工作

org.apache.spark.SparkException:在org.apache.spark :在org.apache.spark.deploy.yarn.Client.run(940 Client.scala)失敗的狀態 完成的應用程序 application_1480735305639_6874 .deploy.yarn.Client $ .main(Client.scala:986) at org.apache.spark.deploy.yarn.Client.main(Client.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在java.lang.reflect.Meth od.invoke(Method.java:606) at org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain(SparkSubmit.scala:672) at org.apache.spark。 deploy.SparkSubmit $ .doRunMain $ 1(SparkSubmit.scala:180) at org.apache.spark.deploy.SparkSubmit $ .submit(SparkSubmit.scala:205) at org.apache.spark.deploy.SparkSubmit $ .main( SparkSubmit.scala:120) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) at org.apache.oozie.action.hadoop.SparkMain.runSpark(SparkMain.java:185) at org。 apache.oozie.action.hadoop.SparkMain.run(SparkMain.java:176) at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:49) at org.apache.oozie.action。 hadoop.SparkMain.main(SparkMain.j AVA:46) 在sun.reflect.NativeMethodAccessorImpl.invoke0(本機方法) 在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在java.lang.reflect.Method.invoke(Method.java:606) at org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:236) at org.apache.hadoop.mapred.MapRunner .run(MapRunner.java:54) at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343) 在org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.runSubtask(LocalContainerLauncher.java:378) at org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.runTask(LocalContainerLauncher.java:296) at org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.access $ 200(LocalContainerLauncher.java:181) at org.apache .hadoop.mapred.LocalContainerLauncher $ EventHandler $ 1.run(LocalContainerLauncher.java:224) at java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.run( FutureTask.java:262) 在java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在java.util.concurrent.ThreadPoolExecutor中的$ Worker.run(ThreadPoolExecutor.java:615) 在java.lang中。 Thread.run(Thread.java:745)

+0

你能提供更多關於你想要運行的信息嗎?或者你認爲這是一個比你的具體任務更普遍的問題? – LordWilmore

+0

Spark簡單地說「YARN job failed」=>是否檢查了YARN日誌以獲取實際的錯誤消息?例如。使用命令行'yarn application -status application_1480735305639_6874',然後'紗線日誌-applicationId application_1480735305639_6874'或使用YARN Web控制檯... –

回答

0

我得到了這個問題,爲什麼它失敗了。我是oozie的新手。基本上oozie對你的動作有自己的mapreduce包裝過程。所以如果你的行爲失敗了,它會遍歷到oozie包裝。我得到這個異常,因爲我的行動工作失敗,反過來我得到了地圖減少包裝這個異常。謝謝