Importtsv沒有加載所有記錄

Question

我從Java類中調用了importtsv，並且由於某種原因它沒有加載所有的記錄。不知道這是一個實際的importtsv問題還是我正在做的事情。

詳情：

我想因爲它是被抓獲加載批量數據。所以，我正在寫入一個臨時文件，沒有其他數據和每個X記錄，我調用importtsv將數據加載到HBase中。

我已經改變了節目叫「WC -l」來仔細檢查我把正確的記錄數在臨時文件中，一切看起來不錯。所以，無論是importtsv出錯還是出於某種原因都有無效的記錄沒有進入，但我不知道它在哪裏被記錄。

想法？即使我可以找到記錄錯誤的地方，那也是很棒的。

Answer 1

沒關係......事實證明我在我的數據有重複的記錄。