ICE版本: Infobright的-3.5.2-P1-win_32有麻煩在Infobright的ICE數據加載
我試圖裝入大型文件,但繼續運行與錯誤的問題,例如:
錯誤的數據或列定義。行:989,字段:5.
這是989行,場5:
「(450)568-3 ***」
注:最後3個字符都是數字爲好,但不想張貼在這裏somebodys電話號碼。
這是任何在該領域中的其他項的真的沒有什麼不同。
該字段的數據類型爲VARCHAR(255)NOT NULL
ICE版本: Infobright的-3.5.2-P1-win_32有麻煩在Infobright的ICE數據加載
我試圖裝入大型文件,但繼續運行與錯誤的問題,例如:
錯誤的數據或列定義。行:989,字段:5.
這是989行,場5:
「(450)568-3 ***」
注:最後3個字符都是數字爲好,但不想張貼在這裏somebodys電話號碼。
這是任何在該領域中的其他項的真的沒有什麼不同。
該字段的數據類型爲VARCHAR(255)NOT NULL
此外,如果您升級到當前版本4.0.6,我們現在支持LOAD期間的行級錯誤檢查並支持拒絕文件。
要啓用拒絕文件功能,您必須指定BH_REJECT_FILE_PATH和其中一個關聯參數(BH_ABORT_ON_COUNT或BH_ABORT_ON_THRESHOLD)。例如,如果要將文件DATAFILE.csv中的數據加載到表T中,但您希望該文件中的10行可能格式錯誤,則可以運行以下命令:
set @BH_REJECT_FILE_PATH ='/ tmp/reject_file';
set @BH_ABORT_ON_COUNT = 10;
將數據載入DATAFILE.csv到表T中;
如果少於10行被拒絕,將輸出警告,加載將成功,所有有問題的行將輸出到文件/ tmp/reject_file。如果Infobright Loader發現第十個錯誤行,則加載將會以錯誤終止,並且到目前爲止發現的所有壞行都將輸出到文件/ tmp/reject_file。
當文件的最後一行沒有以--lines-terminated-by =「\ n」的值結尾時,我遇到了這個問題。 例如,如果我導入9000行數據的文件,我必須確保在文件末尾有一個新行。 根據文件的大小,你可以用文本編輯器打開它並點擊返回k
我發現這與'\ r \ n'與'\ n'的區別是一致的。即使在Windows上的加載程序上運行,'\ n'也會成功100%(假設您的數據與列的定義沒有實際問題)
您可以發佈您運行的查詢以加載數據?表DDL也會有幫助,以及文件中的示例行。 – curlingdude 2011-09-06 15:06:33