沒有拆分的Sqoop導入通過

我試圖導入一個Teradata表，其中有一個組合鍵作爲主鍵。因此，設置--num mapper 1並且在沒有--split-by參數的情況下運行它。但是，我遇到了以下問題。請幫忙。沒有拆分的Sqoop導入通過

Error: java.io.IOException: SQLException in nextKeyValue 
    at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) 
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556) 
    at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80) 
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91) 
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) 
    at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64) 
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1709) 
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162) 
Caused by: com.teradata.jdbc.jdbc_4.util.JDBCException: [Teradata Database] [TeraJDBC 14.00.00.01] [Error 3707] [SQLState 42000] Syntax error, expected something like a name or a Unicode delimited identifier between the word 'Record' and the 'Start' keyword. 
    at com.teradata.jdbc.jdbc_4.util.ErrorFactory.makeDatabaseSQLException(ErrorFactory.java:307) 
    at com.teradata.jdbc.jdbc_4.statemachine.ReceiveInitSubState.action(ReceiveInitSubState.java:102) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.subStateMachine(StatementReceiveState.java:298) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.action(StatementReceiveState.java:179) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementController.runBody(StatementController.java:120) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementController.run(StatementController.java:111) 
    at com.teradata.jdbc.jdbc_4.TDStatement.executeStatement(TDStatement.java:372) 
    at com.teradata.jdbc.jdbc_4.TDStatement.prepareRequest(TDStatement.java:541) 
    at com.teradata.jdbc.jdbc_4.TDPreparedStatement.<init>(TDPreparedStatement.java:96) 
    at com.teradata.jdbc.jdk6.JDK6_SQL_PreparedStatement.<init>(JDK6_SQL_PreparedStatement.java:21) 
    at com.teradata.jdbc.jdk6.JDK6_SQL_Connection.constructPreparedStatement(JDK6_SQL_Connection.java:76) 
    at com.teradata.jdbc.jdbc_4.TDSession.prepareStatement(TDSession.java:1491) 
    at org.apache.sqoop.mapreduce.db.DBRecordReader.executeQuery(DBRecordReader.java:101)

來源

2016-07-28 Holmes

請分享sqoop導入命令。 –

，你將不得不使用--split-by OR --boundary-query選項，無論--num-mappers或-m選項。

拆分列不一定等於PK。你可以有複雜的PK和一些int分割列。但使用組合鍵中的一列作爲--split-by選項。

--split-by ~~>用於分割的工作單位

也儘量--boundry-query + --split-by如果上面的選項（僅--split-by）不工作表中的列：

sqoop import \ 
    --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \ 
    --username=retail_dba \ 
    --password=cloudera \ 
    --table departments \ 
    --target-dir /user/cloudera/departments \ 
    -m 2 \ 
    --boundary-query "select 2, 8 from departments limit 1" \ 
    --split-by department_id

默認sqoop將使用查詢select min(<split-by>), max(<split-by>) from <table name>找出創建分割的邊界。在某些情況下，此查詢不是最優化的，因此您可以使用--boundary-query參數指定任何返回兩個數字列的任意查詢。

查看詳細解釋一下：https://stackoverflow.com/a/37389134/2079249

selecting_the_data_to_import

來源

2016-08-03 01:37:16

嘗試在你的sqoop命令使用 -M1 代替 - NUM映射1.

來源

2016-08-02 20:54:12 JPWorks

沒有拆分的Sqoop導入通過

回答

相關問題