2017-07-28 71 views
0

我是Pentaho和Spoon的新手,我嘗試使用「Hadoop文件輸入」從本地Hadoop節點處理文件,物品在勺子(Pentaho)。問題是我迄今爲止嘗試過的每個URI似乎都不正確。我不知道如何從Pentaho真正連接到HDFS。當嘗試從HDFS讀取文件時,Pentaho的「Hadoop文件輸入」(勺)始終顯示錯誤

要清楚,正確的URI是:

HDFS://本地主機:9001 /用戶/數據/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

我知道這是正確的一個是因爲我通過命令行測試,它完美的作品:

hdfs dfs -ls hdfs://localhost:9001/user/data/prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv 

因此,設置環境領域的「靜態」,這裏有一些我已經試過的URI在勺:

  • HDFS://本地主機:9001 /用戶/數據/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv
  • HDFS://本地主機:8020 /用戶/數據/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv
  • HDFS://本地主機:9001個
  • HDFS://本地主機:9001 /用戶/數據/ prueba_concepto/
  • HDFS://本地主機:9001 /用戶/數據/ prueba_concepto
  • HDFS:///

我甚至試圖溶液Garci加西亞給出這裏:Pentaho Hadoop File Input 該端口設置爲8020並使用以下URI:

  • HDFS://內停:@localhost:8020 /用戶/數據/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

再變回9001,並試圖相同的技術:

  • HDFS://白內停: @localhost:9001 /用戶/數據/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

,但仍然沒有爲我工作......每次我按Mostrar Fichero(S)...按鈕(顯示文件(S)) ,會彈出一個錯誤提示找不到該文件。

I added a "Hadoop File Input" image here.

謝謝。

回答

0

Okey,所以我實際上解決了這個問題。

我不得不從選項卡「查看」添加新的Hadoop集羣 - >右鍵單擊運行Hadoop集羣 - >新建

有我輸入我的HDFS Hadoop配置:

  • 存儲: HDFS
  • 主機名:本地主機
  • 端口:9001(默認爲8020)
  • 用戶名:白內停
  • 通行證單詞:(無密碼)

之後,如果您點擊「測試」按鈕,某些測試將失敗。我解決了通過複製所有配置屬性,我在我的本地Hadoop配置文件($ LOCAL_HADOOP_HOME的/ etc/Hadoop的/核心-site.xml中)放入小勺的Hadoop配置文件中的第二個:

數據集成/插件/ Pentaho的,大數據的插件/ Hadoop的配置/ hdp25 /核心-site.xml中

在那之後,我不得不修改數據集成/插件/ Pentaho的,大數據的插件/插件.properties並將屬性「active.hadoop.configuration」設置爲hdp25:

active。 hadoop.configuration = hdp25

重新啓動勺子,你很好去。

相關問題