如何將輸入文件自動放入hdfs中？

Question

在Hadoop中，我們始終通過-put命令手動輸入文件。有什麼辦法可以使這個過程自動化嗎？

Answer 1

沒有將文件輸入到Hadoop文件系統的自動過程。但是，可以使用一個命令輸入或獲取多個文件。

這裏是網站爲Hadoop shell命令 http://hadoop.apache.org/common/docs/r0.18.3/hdfs_shell.html

Answer 2

我不知道你有多少個文件拖放到HDFS，但看的文件，然後拖放一個解決方案是Apache的水槽。 These slides提供了一個體面的介紹。

Answer 3

你可以用Fabric庫和python自動完成這個過程。在一個函數中寫入hdfs put命令，您可以將其命名爲多個文件，並對網絡中的多個主機執行相同的操作。 Fabric應該對您的場景中的自動化非常有幫助。