如果是,請爲我指導基本步驟。 我通過頁面scorll,並意識到它可能使用core-site.xml我可以使用Apache NIFI將文件傳輸到HDFS系統。
2
A
回答
1
您可以通過使用PutHDFS處理器輕鬆地將文件傳輸到HDFS文件系統。
看這個鏈接下方,
https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/
在此處理器必須指定下列屬性足以將文件轉移到HDFS。
1.Hadoop配置資源:文件
/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml
2.Directory的-A文件或逗號分隔的列表:指定HDFS目錄的位置
/FilesFromNiFi/
3。衝突策略:(追加/替換/忽略/失敗)
append
例如:
如果妳需要將文件從本地驅動器移動到HDFS採用以下NiFi流程即
GetFile-->PutHDFS
GetFile-->Just give your input directory.
putHDFS-->Specify your HDFS location
您需要拖動一個處理器進入UI相對於下方圖像,
請參閱此鏈接拖到此兩個處理器GetFi LE和putHDFS到NiFi UI
https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas
http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/
讓我知道,如果你面對任何問題。
我無法在Apache NiFi中找到上述組件(GetFile PutHDFS)? 一些設置,以包括? – Pradhuman
我編輯了我的答案。您必須將這兩個處理器拖入用戶界面中,並附上答案 –
謝謝您的回覆。我的NiFi二進制文件被破壞,我只能看到7個處理器作爲選項。 我糾正了上述問題,現在它的工作正常,我可以看到183個奇數處理器的選項。 – Pradhuman