地圖輸出記錄的數量少於合併hadoop中的輸入記錄

Question

當我運行mapreduce時，我得到的結合輸入記錄大於地圖輸出記錄嗎？這真的很奇怪。我無法弄清楚到底發生了什麼？據我所知，地圖輸出記錄應該是相同的廣告組合輸入記錄。任何人都可以請幫我找出問題。提前致謝。

這是一個現實世界的工作例如：

Map-Reduce Framework 
     Map input records=112705844 
     Map output records=64841776 
     Combine input records=64842079 
     Combine output records=409 
     Reduce input records=106 
     Reduce output records=4 

Answer 1

顯然的行爲組合如何應用於從Hadoop的0.18開始發生了變化。每個地圖任務只需調用一次組合器之前。現在它可以在地圖和減少方面被調用0次或更多次。這表明組合器輸入/輸出記錄的計數不必完全匹配地圖/減少輸入/輸出計數。