Hadoop：將slave設置爲explicit reducer？

Question

我們在debian + ubuntu上使用hadoop多節點安裝程序和最新的stable hadoop版本。是否可以將特定的從站設置爲減速器？我只是使用一個reducer任務，我想把它分配給最高性能的奴隸。 atm我們有一個主人，他們把任務分配給奴隸和五個奴隸，一個比其他人強大。

在此先感謝所有其他節點上

Answer 1

禁用減速插槽在所有conf/mapred-site.xml文件（除了要減少一個節點）設置mapred.tasktracker.reduce.tasks.maximum爲0。

或者，您可以爲Fair Scheduler編寫一個自定義的LoadManager類（請參閱this），但這還有很多工作要做。