Q

如何在數據庫中加載更多數據ETL

2016-04-03 84 views 0 likes

0

我有6.5 GB數據，其中包含輸入表中的900000行****（tPostgresqlInput）**，我試圖將相同的數據加載到我的輸出表中（tPostgresqlOutput ），而運行的工作，我沒有得到任何來自我的輸入表的迴應，是否有任何解決方案來加載數據？請參閱我的附件如何在數據庫中加載更多數據ETL

2016-04-03 GOPALAKRISHNAN

+1

6.5G/900K：=你的平均行大小是> 7K。這對我來說看起來不太理智。 – joop

+0

當你擁有700MB範圍內的LOB時，情況開始變得有趣:)但talend可以使用默認設置處理這些情況。 –

A

回答

0

您需要制定一個策略來檢索更多可管理的數據塊，例如根據行ID劃分數據。這樣，它不會花費太多的內存或時間來檢索數據。

您也可以將作業的默認內存限制從1 GB提高到更高的數字。

如果您的作業與您的數據庫服務器在同一個網絡上運行，那也可以提高性能。

2016-04-03 22:53:15 dbh

0

確保您在輸入高級設置中啓用了使用光標。默認的1k值很好。也啓用類似的輸出上的批量大小。

通過啓用此Talend將一次處理1k條記錄。

2016-04-04 08:54:49

0

如果這兩個表在同一個數據庫中，您可以嘗試使用Talend ELT組件不要按下您處理數據庫。看看對以下組件的集合： https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlInput https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlMap https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlOutput

2016-04-13 08:57:33

相關問題