更新來自多個不同來源的數據

Question

我正在設置一個包含客戶信息的數據庫。該數據庫將處理客戶數據（客戶ID，地址，電話等）以及關於特定客戶所經歷的廣告類型以及他們如何對其作出反應的一些基本信息。

數據將從中央數據倉庫維護，但有關客戶和廣告的其他信息也將從其他來源更新。例如，如果外部廣告公司運行一個廣告系列，我希望他們能夠反饋關於OptOut的數據，電子郵件反彈等。我想我需要的是一個可以輕鬆發送給任何機構的API 。

我的第一個想法是爲所有外部來源設置一個Web服務API，但由於我們可能會談論大量數據（每批數百萬條記錄），我不確定Web服務是否最好選項。

所以我的問題是，這裏最好的做法是什麼？我需要一個足夠簡單的解決方案，讓廣告公司（可能有適度熟練的IT人員）利用。簡單是本質的 - 在這種情況下，我的意思是「簡單而不是性能」。如果設置太複雜，它將無法工作。

該系統很可能基於微軟技術。

有什麼建議嗎？

Answer 1

您正在描述的過程通常稱爲使用ETL過程的數據集成。 ETL代表Extract-Transform-Load。這個想法是通過從許多不同的數據源中提取信息，對其進行轉換，然後將其加載到數據倉庫中來構建您的中央數據倉庫。

存在各種（也是圖形）工具來實現這樣的過程。既然你說過你可能會運行一個Microsoft堆棧，我建議看一下Sql Server Integration Services（SSIS）。

關於您使用網絡服務實現集成的建議，我不認爲這是一個好主意。同樣，我不認爲將數據集成的負擔轉移給您的客戶也是一個好主意。您應該以某種形式的數據交換格式與您的客戶達成一致，它可以像CSV文件一樣簡單，或者XML，Excel表格，Access數據庫，使用任何適合您需要的內容。

任何像SSIS這樣的現代ETL工具都能夠使用這些不同的數據源。