hadoop輸入路徑指定文件夾範圍

Question

如何爲我的地圖縮放指定通用輸入路徑。

示例文件夾結構是：

folderA/folderB/folderC/mainfolder/date/day/data files 

有許多日期的文件夾和多天的文件夾。

我想在日期文件夾文件夾的特定範圍內向下鑽取，然後選取特定範圍的數據文件。如果我嘗試

'folderA/folderB/folderC/mainfolder/*/*' 

這將讀取所有文件。我想指定日期範圍，即讀取13-06-01和13-06-25內的所有文件，並忽略所有其他日期文件夾。我怎麼做？

Answer 1

如果您提供

'folderA/folderB/folderC/mainfolder/*/*' 

作爲輸入，並希望過濾掉特定的路徑，你可能想創建一個自定義PathFilter

在FileInputFormat你有這樣的功能 -

---

static void setInputPathFilter (JobConf conf, Class<? extends PathFilter> filter) 
Info: Set a PathFilter to be applied to the input paths for the map-reduce job 

---

例如

public static class CustomPathFilter implements PathFilter { 
    @Override 
    public boolean accept(Path path) { 
     //you can implement your logic for finding the valid range of paths here. 
     //The valid range of dates and days for directories and files can be input 
     //as arguments to the job. 
     //Return true if you find a match or else return false. 
     return false; 
    } 
} 

這樣註冊PathFilter -

FileInputFormat.setInputPathFilter(job, CustomPathFilter.class);