在系統之間遷移大數據

Question

我需要一個建議來爲我的應用程序實現功能。我的應用程序是安裝在客戶端內部員工使用的客戶端環境中的傳統JSP JDBC應用程序。我有多個客戶端，每個客戶端都有自己的系統中安裝的軟件的環境。

A中的要求，在一個模塊中，我們需要有自己的現有的外部應用模塊的接口同步它們的系統和我們的系統（如用戶信息，辦公信息）之間的一些數據。

作爲第一步，現在我們有一些模塊，客戶端可以上傳CSV，EXCEL文件，並上傳到我們的系統臨時表。

然後，在第二步驟中，它們使用的另一模塊，其中所述觸發指令以得到其根據我們的數據格式處理，然後插入到我們的郵件表中使用到我們的系統的臨時表中的數據。現在

，我們計劃爲他們提供了一些API，他們的直接從他們的系統/模塊插入數據到臨時表，而不是上傳CSV，EXCEL文件。因此，將數據格式化並加載到臨時表中不是我們的責任。

他們將訪問我們的API並執行特定的方法。

我的問題是如何做到這一點？我們已經有了一個Web服務，我們只公開少量的系統來修改/插入數據到特定的表中。但是，如果在Web服務POST調用中插入/同步40k-50k的行，恐怕是個好主意。

最後要說的是，我們如何能夠開發出可以從任何客戶端（PHP，.NET，JAVA），我認爲Web服務是解決方案中使用的API。

我希望我解釋清楚。幫助讚賞。

Answer 1

是的，您應該爲您的Web服務提供批量功能。做50k或更多的電話它效率不高。因此，由於您已經爲文件定義了一種格式，並且看起來人們對它很熟悉，所以您可以編寫一個接收文件爲多部分的WS。見http://cxf.apache.org/docs/jax-rs-multiparts.html

此外，我建議做這個調用異步。您可以返回一個「JobId」以供將來參考。注1：如果您認爲您提供了新格式，請使用Json。你可以提供一些RESTFul API。使用XML的SOAP可能會有一些開銷。注2：由於您現在正在使用HTTP。注意安全風險。