是否有工具可以將目錄的內容連續複製到HDFS中？

Question

我嘗試使用flume目錄後臺處理程序源和HDFS接收器。但是這並不符合我的目的，因爲這些文件被Flume讀取，然後作爲可以按大小/時間滾動的部分文件寫入HDFS（請糾正我，如果我有這個錯誤）。

有沒有一種工具可以持續執行像HDFS一樣的操作，將所有文件放入spool目錄中？

Answer 1

，如果我得到你的問題正確，那麼你有一個和你得到的文件到它，你想要移動到HDFS該文件沒有閱讀它，HDFScopyFromLocal將解決你的問題，那麼你只需要有一個邏輯可以返回目錄中的最近文件並運行CopyFromLocal命令將其複製到HDFS。