sqoop

0熱度

1回答

我啓動了hadoop EMR集羣（5.5.0 - components - Hive，Hue），但沒有啓動SQOOP。但是現在我需要使用sqoop來查詢和轉儲來自mysql數據庫的數據。由於集羣已經啓動了大量的數據，想知道我是否也可以添加Sqoop。我在AWS控制檯上看不到此選項。謝謝

0熱度

1回答

Sqoop多個作業invokation

我基於Sqoop創建導入工具，我的shell腳本的樣子： while <cond> ; do sqoop import <parameters> & done 第一invokation工作正常，但我得到以下錯誤的休息：所致：java.sql.SQLException中：失敗當我通過一個手動啓動一個每次迭代轉換爲內部表示，他們工作得很好，但沒有如上所述。我調查後發現了什麼，是第一sq

0熱度

1回答

索引超出範圍：JDBC SqlServer異常

我正在使用Sqoop將數據從SQL服務器導入本地HDFS。我正在使用一個簡單的自由格式查詢來從表中拉出10行。下面是我從終端執行sqoop命令： sqoop import --connect 'jdbc:sqlserver://xx.xx.xx.xx;username=xx;password=xxxxx;database=DBName' --query "SELECT top 10 OrderID

1熱度

1回答

Sqoop進口--target-dir的不工作，而不是放在默認目錄下的文件

Sqoop導入腳本： sqoop import --connect jdbc:mysql://localhost/retail_db --username root --password cloudera --target-dir /user/cloudera/retail_db/products_test --table products --hive-import --create-hive-

1熱度

2回答

如何將bigint轉換爲配置單元中的datetime？

我使用sqoop import命令將數據從teradata sqooped到Hive。對於teradata中的其中一個表，我有一個日期字段。在sqooping之後，我的日期字段顯示爲具有bigint數據類型的時間戳。但我需要日期字段作爲日期數據類型在配置單元表中。任何人都可以請建議我在實現這個？

0熱度

1回答

如何將數據拆分爲sqoop中的零件文件

我懷疑如果數據偏斜，數據如何分區爲零件文件。如果可能，請幫我澄清一下。我們說這是我的department表，其中department_id作爲主鍵。 mysql> select * from departments; 2 Fitness 3 Footwear 4 Apparel 5 Golf 6 Outdoors 7 Fan Shop 如果我通過在導入命令提-m 1使用sqoop

1熱度

1回答

如何使用Sqoop自動將MySQL表與Hive外部表同步？

我已經在自己的本地機器（Linux）中擁有一個MySQL表，並且我有一個與MySQL表具有相同架構的Hive外部表。我想從MySQL表導入數據到我的Hive外部表，我使用Sqoop。但問題是，無論何時將新記錄添加到MySQL表中，它都不會自動更新Hive外部表？這是Sqoop導入命令我使用的是： sqoop import --connect jdbc:mysql://localhost:33

0熱度

1回答

Sqoop中$條件的含義

sqoop導入命令中$ conditions子句的意義是什麼？ select col1, col2 from test_table where \$CONDITIONS

0熱度

1回答

Sqoop - 日期 - 時間戳

我正在嘗試將Oracle中的數據sqoop轉換爲Hadoop。在Oracle方面，日期字段是格式爲'10/01/2015 12:00:00 AM'的時間戳。我如何在月，日和年過濾器？過濾器中不需要小時和分鐘，但加載到HDFS中的數據需要具有10/01/2015 12:00:00 AM格式。任何想法？我看着其他的計算器，沒有找到它的格式。謝謝！！請參閱下面的代碼。我沒有得到任何結果。 sqoo

0熱度

1回答

sqoop導入與一個表一起工作，但不與另一個

我有2個表VB_B2B_INN_201611_201705_7我導入到adhoc_mn_client_inn_201611_201705和EVKUZMIN_B2B_CHURN_BAN_SEGMENT應該去evkuzmin_b2b_churn_ban_segment。腳本在兩種情況下是 sqoop import \ -Dmapreduce.job.queuename=adhoc \ --con