hadoop-archive

    0熱度

    1回答

    我有小文件每天進入hdfs。我打算使用hadoop歸檔(HAR),但我怎樣才能將這些小文件歸檔爲每天進入hdfs的文件。例如:今天我可能會得到5個文件,我需要將它們歸檔,如果我再獲得5個文件,我需要將它添加到前幾天的歸檔中。

    1熱度

    1回答

    我正在開發一個應用程序,用於從數百萬個小文件創建1個Hadoop存檔文件。我已經用命令行(hadoop archive --archiveName foo.har -p/-r 2 test.txt /)成功測試過,但我無法找到任何資源以編程方式執行它。 任何想法如何使用客戶端應用程序創建Hadoop存檔?