爲什麼Hadoop Mapper會對數據進行排序？

我意識到創建一個要發送給reducer的關鍵排序列表是mappers的主要目標。然後，如果列表非常大，則需要在映射器中進行分區，以便可以由reducer處理（我的意思是對於唯一鍵值列表非常大，然後需要進行分區），但爲什麼hadoop需要排序映射器中的鍵。有人問我這個問題，我無法完全說服他。我只是一個初學者，有點好奇。任何幫助表示讚賞。爲什麼Hadoop Mapper會對數據進行排序？

來源

2014-12-19 Akshay Hazari

排序發生在映射階段之後，執行減速作業之前，您不需要明確地進行排序。

請參考similar question

來源

2014-12-19 05:36:59 Sandy

爲什麼Hadoop Mapper會對數據進行排序？

回答

相關問題