如何在talend中推送大文件數據？

Question

我創建了一個表，其中有一個文本輸入文件，其大小爲7.5 GB，並且有6500萬條記錄，現在我想將這些數據推送到Amazon RedShift表中。

但處理560萬條記錄後，它不再移動。

可能是什麼問題？ tFileOutputDelimited是否有任何限制，因爲作業已經運行了3個小時。

下面是我創建的將數據推送到Redshift表的工作。

tFileInputDelimited（的.text）--- --- TMAP> tFilOutputDelimited（CSV）

|

|

tS3Put（複印輸出文件，以S3）------> tRedShiftRow（createTempTable） - > tRedShiftRow（COPY到臨時）

Answer 1

的限制來自於TMAP組件，它不是好的選擇處理有大量的數據，對於您的情況，您必須啓用「存儲臨時數據」選項來克服Tmap的內存消耗限制。 它在Talend Help Center中有很好的描述。

Answer 2

看起來像tFilOutputDelimited（csv）正在創建問題。任何文件在一定數量的數據後無法處理。不確定的想法。試着找出一種方法來加載只有部分父輸入文件，並提交在紅移。重複這個過程直到你的父輸入文件得到完整的處理。