我如何設置集羣中每個節點的任務路徑數？

Question

我看到我們可以爲每個tasktracker設置一些map/reduce任務，但是如何設置集羣中每個節點的tasktracker數量？

如何關閉安全性以便我可以爲每個節點運行多個tasktracker？在hdfs-site.xml中將dfs.permissions設置爲false就足夠了嗎？

Arun

Answer 1

爲什麼您需要多個任務路徑？ 您可以運行多個作業，具體取決於您在任務跟蹤器中設置的插槽數量。 JobTracker與tasktracker對話，以確定它是否在服務器上有任何空閒插槽（從數據所在的同一節點開始，如果不能，則從其他位置開始）如果您有多個任務執行程序，則它們不會知道實際負載在服務器上，性能可能會惡化

根據節點的內存和CPU功能，您應該設置插槽數量，最大映射數量和最大減少數量（您可以從核心模式開始）每個任務，但如果你知道你的任務是CPU低可以設置更高）

Answer 2

如果你有一個單線程模型的8核心機器，爲datanode留出1個線程，1爲tasktracker，你可以有6個線程可用。根據程序的需要，你可能有4張地圖，2個縮減器。如果地圖不是CPU密集型的，你可以增加mappers的數量。還要根據系統的RAM爲每個映射/減少任務分配適當的內存。