我可以強迫我的減速器（複製階段）只在所有的繪圖器完成時啓動

Question

我有一個很長的地圖階段的hadoop工作，我希望其他短期工作優先運行。 爲此，我用hadoop job -set-priority job_id LOW設置了長時間工作的優先級。

問題是，對於我的長期工作，即使只有30％的地圖任務完成，還原器的複製階段也會開始。

因爲所有縮小時隙都是由低優先級作業拍攝的，所以我的網格是混合的。 其他小型工作可以做他們的地圖階段，但他們永遠不會得到任何reducer，直到我的長期工作完成。

有什麼想法？ 謝謝。 J.

Answer 1

我發現我的回答我的問題： 有但這正是該作業的作業設置參數：

mapred.reduce.slowstart.completed.maps = 0.90

減少任務僅在完成90％的地圖時開始。 默認值爲0.05。