MapReduce低效減速器

Question

除了map函數輸出的所有鍵都相同之外，什麼會導致MapReduce作業中只有一個Reducer？

Answer 1

可能的原因：

1. 你的集羣仍然僅具有1減速器（=默認值）的默認設置。
2. 您的代碼顯式設置值爲1縮減器。
3. 您正在本地模式下運行（即根本沒有羣集）。

報價從mapred-default.xml

<property> 
    <name>mapred.reduce.tasks</name> 
    <value>1</value> 
    <description>The default number of reduce tasks per job. Typically set to 99% 
    of the cluster's reduce capacity, so that if a node fails the reduces can 
    still be executed in a single wave. 
    Ignored when mapred.job.tracker is "local". 
    </description> 
</property>