爲什麼Mapreduce中的一些已完成的任務會減少？

當運行hadoop作業時，我注意到有時完成的任務數量減少，取消的任務數量增加。爲什麼Mapreduce中的一些已完成的任務會減少？

這怎麼可能？爲什麼會發生？

我只在我們的集羣處於奇怪狀態時才遇到過這個問題，所以我不確定這是否是同一個問題。基本上，地圖任務將完成，然後減速器將開始......然後映射器將被重新處理。

我認爲問題在於映射器輸出掛在那個數據節點上，等待reducer來拾取它。如果該節點存在問題或死亡，JobTracker會決定它需要再次運行該任務，即使它已完成。我們的問題是，我們的NameNode所在的系統存在一些與Hadoop無關的問題，一旦這些問題得到解決，它似乎就會消失。

很抱歉，如果我的經驗與您的問題無關。也許，你能發佈更多細節嗎？你看到任何錯誤消息？你的JobTracker或NameNode日誌中有什麼奇怪的東西嗎？

2011-09-29 01:27:45

回答