如何在崩潰後重新啓動Spark執行程序（在YARN客戶端模式下）？

Question

是否有可能在崩潰後重新啓動Spark執行程序？我明白失敗的任務將在現有的Spark執行器中重新運行，但我希望有一種方法可以重新啓動墜毀的Spark執行器。

我在YARN上運行pyspark 1.6，在客戶端模式下

Answer 1

不，這是不可能的。 Spark會照顧它，當執行者死亡時，它會在下一次爲執行者請求「資源容器」時請求一個新的執行者。

如果執行程序接近要處理的數據Spark將根據任務的本地優先級請求新的執行程序，並且有可能執行程序已經死亡的主機將再次用於運行新的執行程序。

執行程序是一個JVM進程，它爲任務產生線程，並且實際上並沒有太多的工作。如果你關心數據塊，你應該考慮使用Spark的外部洗牌服務。

請考慮閱讀官方文檔中的文檔Job Scheduling。