如何從不同的目錄

Question

我讀兩套目錄標記特定的輸入文件（假設迪拉和污垢）作爲輸入到我的MapReduce作業，我需要以不同的標記它們以某種方式使在映射階段我知道是從哪裏來的。有什麼建議？

Answer 1

您可以使用MultipleInputs進行調查，併爲每個輸入路徑定義一個不同的映射器，或者檢查輸入拆分（Context.getInputSplit() - 將其轉換爲FileSplit並獲取路徑）並相應地調整輸出。