2016-08-20 192 views
0

我在HDP 2.4的hortonworks沙盒上使用Sqoop版本:1.4.6.2.4.0.0-169。Sqoop無法導入--as-parquetfile

我收到以下錯誤,當我執行命令sqoop:

sqoop import --connect jdbc:mysql://127.0.0.1/test --username root --password test --table details --m 1 --target-dir /test_parq_sqoop --driver com.mysql.jdbc.Driver --as-parquetfile --verbose 

org.kitesdk.data.DatasetNotFoundException:未知數據集URI:HDFS://sandbox.hortonworks.com:8020/test_parq_sqoop 。檢查hdfs數據集的JAR是否在類路徑中。

+0

你能導入其他格式嗎?我的印象是Parquet在Cloudera發行版 –

回答

0

將jar文件放入classpath lib中。

檢查hadoop類路徑。然後檢查所需的jar是否存在。最有可能它不在那裏,因爲那個錯誤說,所以把它放到那個目錄並重新啓動管理器。

+1

中大部分都被接受,請檢查hadoop類路徑。然後檢查所需的jar是否存在。最有可能它不在那裏,因爲那個錯誤說,所以把它放到那個目錄並重新啓動管理器。 –

+0

我想出瞭解決方案...我能夠導入Avro和其他格式,但問題只是拼花地板...用於轉換爲拼花地板的kitesdk只需要完整的URI作爲目標目錄....所以當我給完整的URI在--target-dir中,例如:--target-dir/usr/root/sqoop而不是--target-dir/sqoop。 – Ragzz

+1

謝謝sahil :) – Ragzz