Spark階段的性能，發現GC時間非常高，只是爲了幾個任務

我想調整一個Spark應用程序，爲了減少整體時間執行，但我在階段執行期間有一個奇怪的行爲。Spark階段的性能，發現GC時間非常高，只是爲了幾個任務

基本上只有14/120任務需要大約20分鐘才能完成，其他人需要4或5分鐘才能完成。

尋找一個Spark UI，分區看起來不錯，我看到的唯一區別是GC時間對於14個任務來說非常高。

我附上了一個形勢的情況。

你有什麼想法找到性能解決方案嗎？

2017-10-08 Giorgio

您的圖像似乎沒有顯示單個任務的GC時間。您應該捕獲其中一個較慢任務的GC日誌，並將其發佈到此處。 – the8472

對不起，我的錯，我只是附上了另一張顯示GC時間的圖片 – Giorgio

這並沒有顯示高GC時間 – the8472

我有一個類似的問題，可以通過使用並行GC，而不是G1GC解決。您可以將以下選項添加到執行者在提交請求中的附加Java選項

-XX:+UseParallelGC -XX:+UseParallelOldGC

2018-01-21 06:09:09

回答