Azure數據同步 - 將每個SQL行復制到Blob

我想了解從（Azure託管）SQL Server到Blob存儲將大量數據 - 〜6M文本行遷移的最佳方法。Azure數據同步 - 將每個SQL行復制到Blob

大部分情況下，這些記錄都是歸檔記錄，很少被訪問 - blob存儲作爲保存這些記錄的地方是有意義的。

我看了一下Azure Data Factory，它似乎是正確的選擇，但我不確定它滿足要求。

簡而言之，對於表中的每一行，我想要創建一個blob，其中該行的內容爲1列。

我看到教程（即https://docs.microsoft.com/en-us/azure/data-factory/data-factory-copy-activity-tutorial-using-azure-portal）擅長解釋批量到批量數據管道的遷移，但我想從一個批量到多個數據集進行遷移。

希望有道理，有人可以幫忙嗎？

2016-11-16 Nagoh

當你有表格存儲時，爲什麼要將文本遷移到BLOB？ – Paparazzi

在這種情況下，每行都有大量的文本，並且對於正在使用的Blob是我們的合適商店 – Nagoh

到目前爲止，Azure Data Factory沒有內置任何東西，例如SSIS中的For Each循環。你可以使用自定義的.net活動來做到這一點，但它需要大量的自定義代碼。

我會問，如果你將這個轉移到另一個數據庫，你會創建600萬個具有相同結構的表嗎？有單獨的項目會得到什麼？

另一種選擇可能是將其轉換爲JSON，這很容易使用Data Factory。以下是我最近將數據移入DocumentDB的示例。

SSIS 2016年的Azure Feature Pack，讓Azure的任務，如天青斑點上傳任務和Azure的斑點目標。你可能會更好使用這個，也許一個OLEDB命令或帶有Azure Blob目標的For Each循環可能是另一種選擇。

祝你好運！

2016-11-16 21:29:56 wBob

回答