in Map/Reduce，只能減少重啓嗎？

是否可以重新啓動只減少地圖/減少工作的工作？我的猜測是「否」，但只是想看看是否有人有其他的想法吧in Map/Reduce，只能減少重啓嗎？

感謝

2011-10-31 daydreamer

是否有任何理由呢？ –

如果只減少任務失敗，並且映射任務需要很長時間才能完成 – daydreamer

如果reduce任務失敗，則Hadoop框架將重新啓動reduce任務。如果地圖任務花費太多時間，那麼可以減少InputSplit的大小，可以將更多資源分配給任務 - 有幾種方法可以緩解長時間運行的任務。 –

減少是不是「工作」這是你的工作中的任務。作業由n個地圖任務和m個任務組成。

每個任務都可以重新啓動。

2011-10-31 18:58:57

我爲致電減少工作表示歉意，我如何重新安排減少任務？ – daydreamer

你不能。它在發生故障後由調度程序重新啓動。 –

明白了，謝謝:) – daydreamer

不，你需要設置相應的映射器來運行reducer。但是你只能用mapper運行，在這種情況下減速器的數量是0.

2014-07-17 18:31:46 Bobby

回答