Spark Streaming失敗執行器任務

Question

當我查看Spark UI上的Jobs選項卡時，可以看到任務狀態如20/20 /（4失敗）。

這是否意味着失敗的任務會丟失數據？這些失敗的任務是不是轉移到了diff執行器？

Answer 1

雖然你應該警惕失敗的任務（它們通常一個潛在的內存問題的指標），你不必擔心數據丟失。這些階段已被標記爲已成功完成，因此失敗的任務實際上（最終）已成功處理。