Hadoop基礎：地圖任務映射器的數量減少任務減速器

Question

映射器和地圖任務之間有什麼區別？ 同樣，減速和減少任務？ 另外，在執行mapreduce任務期間，mappers，maptasks，reducer，reducetasks的數量是多少？ 給他們之間的相互關係，如果有的話。

Answer 1

簡單地圖任務是Mapper的一個實例。 Mapper和Reducer是mapreduce作業中的方法。

當我們運行mapreduce作業時，產生的地圖任務數量取決於輸入中的數字塊（塊的數量取決於輸入分割）。但是，reduce任務的數量可以在mapreduce驅動程序代碼中指定。它可以通過在作業配置對象中設置屬性mapred.reduce.tasks來指定，也可以使用org.apache.hadoop.mapreduce.Job#setNumReduceTasks(int reducerCount);方法。

在舊的JobConf API setNumMapTasks()方法在那裏。但是在新的API org.apache.hadoop.mapreduce.Job中刪除了setNumMapTasks()方法，映射器數量的內涵應根據輸入拆分進行計算。