如何在發生錯誤時失敗Spark應用程序

Question

我想讓我的Spark應用程序失敗，但遇到錯誤（例如我的文件行數小於10，這是我的業務邏輯的邏輯錯誤）。我正在做一個System.exit（20），但是當我檢查應用程序在yarn（yarn應用程序 - 狀態）中的狀態時，它顯示成功，我想看到失敗。我使用shell腳本來自動化事物，但是這種行爲對我來說是一個障礙。

請你幫幫我，我怎麼能完全失敗我的火花應用程序，使紗線應用狀態將失敗。

注：我正在運行中的紗線集羣模式火花

感謝，

Answer 1

如果你的代碼是在Java中，你可以調用方法stop()您JavaSparContex，像這樣：

SparkConf sparkConf = new SparkConf(); 
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); 

javaSparkContext.sc().taskScheduler().stop();