xyz場景需要多少mapper和reducer？

Question

場景：我有節點A和節點B，每個節點具有100 MB的磁盤空間。我想要在其中存儲128 MB文件（讓複製因子爲1，塊大小爲64 MB）。在此場景中將如何存儲文件？還需要多少mapper和reducer來處理這個文件？ 假設我想用一個映射器處理這個文件，那麼哪個節點將運行這個映射器？

Answer 1

我假設你說的是2個數據節點A & B，因爲整個集羣只有A & B，它們中的任何一個都需要是不能存儲任何數據的名稱節點。

文件將被拆分成兩個64MB塊和A & B將主持一個塊，每塊。不能說誰擁有第一名，誰將擁有第二名。

在缺省設置中，2映射器將處理分割在其各自的節點和一個減速器將處理既映射器輸出。

如果您想強制只使用一個映射器，那麼第一個任務跟蹤器的數據節點跳動到作業跟蹤器將運行映射器。

希望這會有所幫助。