用合併密鑰修改的sqoop增量

Question

我正試圖在HDFS中導入更新的記錄。之前我在HDFS中有三個部分文件。當我在工具下運行時，它提供了一個錯誤，即需要合併密鑰。

sqoop import --table employee --username training --password training --connect jdbc:mysql://localhost/loudacre --incremental lastmodified --check-column modified --last-value '2016-08-22 19:02:41'

然而，當我用合併鍵選項我只能看到部分文件與它的所有記錄。

Answer 1

這是預計我猜。一般而言，合併工具在使用--incremental lastmodified模式進行增量導入後運行。

合併數據集時，假設每個記錄中都有一個唯一的主鍵值（提及爲--merge-key）。

合併工具將運行mapreduce作業，將所有數據集合併成一個，爲每個--merge-key取最新的可用行。

查看sqoop docs瞭解更多詳情。