2011-04-12 75 views
0

ICE版本: Infobright的-3.5.2-P1-win_32有麻煩在Infobright的ICE數據加載

我試圖裝入大型文件,但繼續運行與錯誤的問題,例如:

錯誤的數據或列定義。行:989,字段:5.

這是989行,場5:

「(450)568-3 ***」

注:最後3個字符都是數字爲好,但不想張貼在這裏somebodys電話號碼。

這是任何在該領域中的其他項的真的沒有什麼不同。

該字段的數據類型爲VARCHAR(255)NOT NULL

+0

您可以發佈您運行的查詢以加載數據?表DDL也會有幫助,以及文件中的示例行。 – curlingdude 2011-09-06 15:06:33

回答

3

此外,如果您升級到當前版本4.0.6,我們現在支持LOAD期間的行級錯誤檢查並支持拒絕文件。

要啓用拒絕文件功能,您必須指定BH_REJECT_FILE_PATH和其中一個關聯參數(BH_ABORT_ON_COUNT或BH_ABORT_ON_THRESHOLD)。例如,如果要將文件DATAFILE.csv中的數據加載到表T中,但您希望該文件中的10行可能格式錯誤,則可以運行以下命令:

set @BH_REJECT_FILE_PATH ='/ tmp/reject_file';

set @BH_ABORT_ON_COUNT = 10;

將數據載入DATAFILE.csv到表T中;

如果少於10行被拒絕,將輸出警告,加載將成功,所有有問題的行將輸出到文件/ tmp/reject_file。如果Infobright Loader發現第十個錯誤行,則加載將會以錯誤終止,並且到目前爲止發現的所有壞行都將輸出到文件/ tmp/reject_file。

0

當文件的最後一行沒有以--lines-terminated-by =「\ n」的值結尾時,我遇到了這個問題。 例如,如果我導入9000行數據的文件,我必須確保在文件末尾有一個新行。 根據文件的大小,你可以用文本編輯器打開它並點擊返回k

0

我發現這與'\ r \ n'與'\ n'的區別是一致的。即使在Windows上的加載程序上運行,'\ n'也會成功100%(假設您的數據與列的定義沒有實際問題)