Web服務適合ETL用途嗎？

Question

我公司正在考慮使用Web服務作爲ETL過程的意思。但是我不認爲web服務適合這個目的，原因如下： 1.當生成大型xml時，web服務可能會消耗大量內存。 2. xml是一種臃腫的格式。 3.如果服務器花費大量時間生成數據，可能會超時 4.文件大小限制？ （對於Windows，它是2Gb，如果我的內存服務於我）

我不是一個Web服務專家，所以我需要您的意見。 :)

謝謝。

Answer 1

我不會爲ETL任務使用Web服務。針對該任務的專用工具（例如Ab Initio，Informatica等）更適合。

如果你有大量的數據，我會說網絡引入的額外延遲的價格將是禁止的。

Answer 2

這確實取決於你在做什麼以及你如何努力完成它。一般來說，網絡服務需要比通常放入ETL過程更多的關心和饋送，但它們在執行任務時也可能出乎意料地有效。我沒有得到足夠的具體信息來說明您的方案是否可行。

我從事Web服務傳輸和接收超過100 MB的文檔，有些不是用XML編碼，而是在幾秒鐘內（在封閉的本地網絡上）完成的。這些服務需要大量的調整和規劃，但是它們對我們的場景確實很好，它們允許各種各樣的客戶端通過相當標準的接口連接和傳輸不同數量的數據。這與我們的其他一些ETL工作不同，這些工作是針對每個客戶的特定工作，必須爲每個客戶進行設置和維護。

這一切都取決於你在做什麼和你的約束是什麼。

如果您要追求這條路線，並從頭至尾地完成流程，包括您希望客戶如何連接，請確認已收到數據並驗證作業已完成。考慮一些場景，客戶和正在傳輸的數據類型，然後計算出所需的數據。與其他工具中已有的內容相比，以及需要多少時間才能完成。

Answer 3

Web服務工具棚中有大量技術可以繞過您所詳述的所有問題。有以流爲導向的XML分解，有XML壓縮格式用於傳送，處理碎片和公平的協議，並且有許多存儲系統可以容納千兆字節的數據。

如果Web服務你能想象一個接口的一些大學新生功課藥汁接受了2GB序列表中的單個GLOP論點，就會將所有的參數都是有效的。但是，如果你給你的要求，有經驗的團隊，參與WS-ReliableMessaging和WS-Transaction概念知識那就沒有理由不具有圍繞Web服務的ETL過程。請注意，我並不主張使用SOAP協議，但我主張對所涉概念有所瞭解和理解。

既然有人說，面向Web服務的ETL過程是否對您有意義，這取決於一整套其他原因。但是，您對Web服務技術的反駁並不成立。

Answer 4

查找MTOM，首先，它允許在Web服務中傳輸任意非XML數據。

Answer 5

Web服務對於ETL任務來說不錯。請記住，每個任務將在其自己的線程中免費處理，並保證在請求之間進行適當的清理。在像Tomcat這樣的東西中使用Web服務不會像你想象的那麼沉重。

如果您擔心XML過多，請考慮使用JSON格式。

Answer 6

我真的不知道爲什麼你的公司是不使用像一樣通過duffymo in his answer或Talend或CloverETL提到，如果開源是一種選擇那些真正的ETL工具考慮。

1. 它們通常好ETL目的:)
2. 構建自己的解決方案聽起來像重新發明輪子。
3. 它們中的很多都具有面向Web服務的功能（例如，參見Talend wiki中的Export a job as webservice或例如CloverETL Server HTTP Launch Services）。

我不是ETL產品專家，我沒有檢查它們，但我很確定這是需要考慮的事情。