集成/轉換來自不同/不同源的數據而不存儲它

我有一個用例。我想整合/轉換來自不同/不同來源的數據而不存儲它。數據源是數據庫（oracle，db2等），Webservice（Rest/Soap），平面文件（CSV，XML，JSON），MQ轉儲，大型機系統。我想從這些來源獲取數據，並進行某種智能轉換和集成，並將其提供給我們的客戶。它看起來像典型的ETL場景，但我的情況不同。我不允許存儲絕望來源給出的數據，這就意味着，舉個簡單的例子，我從oracle，soap和休息中提取數據，並且在運行中完成所有我的智能轉換和集成。集成/轉換來自不同/不同源的數據而不存儲它

我瀏覽谷歌和技術的東西，但不能得到令人信服的解決我的問題。

如果你們可以幫助我對這個問題給出一些有價值的見解並給出建議和可能的解決方法。

注意：這些來源的數據大小有時可能非常大。

由於提前

來源

2017-09-23 Sadique

看看htto：//teiid.org

THST正是它，並且它是開源的。

來源

2017-09-23 19:06:33

非常感謝Ramesh的建議。我已經使用teiid對JDV進行了審查並做了一些操作。這是一個非常好的工具。但是在某些情況下，當我有大數據時，複雜的聚合/聯合，數據本身非常複雜（xml或Json中的多級分層數據）以及工具的可伸縮性問題。如果您可以建議任何支持指南來克服這些典型情況。 – Sadique

您需要提供每個問題的詳細信息，如果您無法獲得任何建議。 Teiid還支持集羣和緩存以幫助擴展。爲每個問題建議不同的線程。 –

集成/轉換來自不同/不同源的數據而不存儲它

回答

相關問題