etl

0熱度

2回答

我想使用ETL將文件導入到Orientdb中的文件模型中csv文件我不知道這是否作爲新手正確，而不是文檔模型上的大量文檔，但我試過是： { "config": { "log": "debug" }, "begin": [], "source": { "file": { "path": "C:/Users/M/Desktop/

2熱度

1回答

SSIS - 執行SQL任務 - 的foreach循環容器

我嘗試新的項目SSIS和我有一個錯誤異常反序列化包「的包無法加載由於錯誤0xC0011008」從XML加載時出錯。無法爲此問題指定更詳細的錯誤信息，因爲沒有事件對象被傳遞到可以存儲詳細的錯誤信息的位置。「這發生在CPackage :: LoadFromXML失敗時」。（Microsoft.DataTransformationServices.VsIntegration）和foreach集裝

0熱度

1回答

我應該從Kafka ETL中抽象出技術細節嗎？

將ERP（或可能帶有複雜的技術數據模型的任何其他「標準軟件」）作爲kafka系統源的最佳實踐是什麼？您是否建議使用該源數據庫中的視圖來隱藏這些技術細節？不確定，如果一個視圖可以「觸發」Oracle的JDBC源連接器內的複製。我能想到的另一種方式是使用Stream API將kafka中的所有這些表「加入」。這樣，源數據庫系統不用於執行「ETL連接」。

0熱度

2回答

使用intellij集成ETL和Java

我想從java上的ETL開始。我正在使用Intellij。我想知道如何完成整合或哪些工具與intellij兼容。另外，如果有任何有關使用java的ETL基礎知識的教程。究竟是什麼，所有如果我想要做數據的轉換，我需要它可以是基本就像從一個文件中隨機輸入只是把和轉化數據基於特定邏輯

0熱度

2回答

如何使用pentaho將15.000.000個寄存器加載到表中？

我用Pentaho創建了一個ETL過程，用於從數據庫中的表中選擇數據並將其加載到另一個數據庫中。我必須做的前面的主要問題是，對於1.500.000行需要6個小時。全表是15.000.000，我必須加載5個表。任何人都可以解釋應該怎麼加載pentaho大數據量？謝謝。

0熱度

1回答

Talend - 系統環境變量沒有反映沒有重新啓動

我使用系統環境變量來參數化talend中的作業，但每次我改變任何值，而不重新啓動talend我無法獲得反映的變化。有什麼解決方法嗎？我不想使用上下文組或隱式上下文加載。我正在使用Talend Open Studio免費版。這在企業版中有什麼不同？

0熱度

1回答

SSIS對來自異構來源的大數據進行排序 - 替代方案

我正在尋找替代方法來對SSIS上的約200萬條記錄進行排序。在應用多個轉換之後，來自異構源（SQL，Oracle，DB2）的數據有一個Union All組合數據，然後需要按三個字段排序。這是因爲需要數據之前，我們發送給外部供應商可以通過某些字段進行排序這是我已經嘗試過的解決方案：緩衝區的大小（100 MB）和最大行數調整（ 50K行）在每個源（只是爲了我心中的緣故應用排序！）設置驗證外

0熱度

1回答

有關MySQL Connector/ODBC的SSIS問題5.3.8

我遇到SSIS項目的問題，該項目從MySQL數據庫下載數據並將其插入到SQL Server 2014數據庫中。因此，我有兩個版本的同一個項目，一個用於SQL Server 2016，另一個用於SQL Server 2014.它們具有相同的腳本和數據流，但由於某些原因，只有針對SQL Server 2016的項目才起作用。這些問題駐留在ODBC驅動程序連接器中。我可以在兩個項目中預覽數據，但對於S

1熱度

1回答

使用ODBC的SSIS表達式

我正在嘗試使用執行SQL任務對ODBC源執行查詢。這是我的發言： "select * from RoomType where zz__Timestamp_Modification_UTC__lcm >= TIMESTAMP '" [email protected][User::LastJobRunDateTimeUtc]+ "'" 在表達式生成器當我按下「計算表達式」按鈕，我得到這個錯誤：我

2熱度

1回答

SSIS評估含有代數的表達式

我無法完全找到答案。如何評估在SSIS中包含算術的表達式。具體在變量的表達式字段或執行SQL任務 - > SQL語句中作爲表達式。我有一個用戶定義的變量'寬度'，分配給一個變量爲十進制類型。 388.00 和我有另一個變量Range作爲十進制類型。我需要創建一個動態的SQL語句，但我需要這些值使用評估以下： @[User::Width] - @[User::Range] 這是行不通的。