2017-02-10 125 views

回答

1

您可以通過使用PutHDFS處理器輕鬆地將文件傳輸到HDFS文件系統。

看這個鏈接下方,

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/

在此處理器必須指定下列屬性足以將文件轉移到HDFS。

1.Hadoop配置資源:文件

/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml 

2.Directory的-A文件或逗號分隔的列表:指定HDFS目錄的位置

/FilesFromNiFi/ 

3。衝突策略:(追加/替換/忽略/失敗)

append 

例如:

如果妳需要將文件從本地驅動器移動到HDFS採用以下NiFi流程即

GetFile-->PutHDFS 

GetFile-->Just give your input directory. 

putHDFS-->Specify your HDFS location 

您需要拖動一個處理器進入UI相對於下方圖像,

enter image description here

請參閱此鏈接拖到此兩個處理器GetFi LE和putHDFS到NiFi UI

https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas

http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/

讓我知道,如果你面對任何問題。

+0

我無法在Apache NiFi中找到上述組件(GetFile PutHDFS)? 一些設置,以包括? – Pradhuman

+0

我編輯了我的答案。您必須將這兩個處理器拖入用戶界面中,並附上答案 –

+1

謝謝您的回覆。我的NiFi二進制文件被破壞,我只能看到7個處理器作爲選項。 我糾正了上述問題,現在它的工作正常,我可以看到183個奇數處理器的選項。 – Pradhuman