殺死一個單一的火花任務

我有一個很長的火花任務，目前有少量任務被停止。有沒有辦法從驅動程序節點中殺死那些停滯的任務？殺死一個單一的火花任務

出於許可原因，我可以登錄，但不能殺死從屬節點上的作業，所以我正在尋找一種單獨從驅動程序節點執行此操作的方法。請注意，我不想殺死整個Spark作業 - 只有一兩個停滯的任務。

如果有幫助，我使用Mesos並有權訪問Web UI，但不包含殺死任務的選項。

2016-07-31 nbubis

不，不是真的。

你不能手動殺死一個單獨的火花任務，但是你可以使用火花推測來自動確定哪些任務需要很長時間並主動重啓它們。

如果要這樣做，請將spark.speculation設置爲true，並且[如果您敢於]修改spark.speculation.interval,spark.speculation.multiplier，spark.speculation.quantile配置選項。

2016-11-03 21:12:59 Garren

星火UI似乎讓你去殺死單獨的任務，我認爲他們重新安排和工作的下一次。這似乎表明有一個API用於查殺任務。儘管如此，這可能需要大量的手動工作。我正在經歷同樣的問題，目前猜測正在導致其他問題，所以我正在爭論。 –

Spark UI可以讓你殺死作業階段，但我不知道任何殺死個人作業任務的功能。用戶界面中的任務可能在哪裏死亡？ – Garren

你是對的，我的道歉。我使用了錯誤的術語，並且正在考慮階段。 –

回答