如何處理Azure數據工廠中的增量和完全上傳

Question

我們有一個Azure存儲帳戶和2個blob存儲。 A Full和a公司 在完整版中，只要需要完整上傳，我們就會放置完整上傳CSV文件，在公司我們只是每天放置小增量CSV文件。 我們首先將所有數據加載到臨時文件中，然後加載到ODS en，最後加載到Edw（Enterprise DW）。 只有在對錶格進行結構更改時才需要完整上傳。

基本上兩個上傳之間的唯一區別是全也cleares在ODS和EDW的所有數據，但運行存儲在管道程序薩姆斯，...

任何人有關於如何祕訣處理Azure數據工廠中的這種情況。 我不希望將數據工廠翻一番，但由於輸出數據集的可用性/頻率不同，我無法在輸出數據集中使用相同的分段邏輯（在數據工廠中）表格。

因此，任何暗示讚賞...

Answer 1

首先要明確ADF只是在那裏援引其他Azure服務，它不會做任何工作本身。所以問題是真的。您可以從ADF撥打Azure的哪些服務來完成這項工作並管理這種情況？

要回答這個問題......

選項1：我建議你看一下Azure的數據湖。我已經寫了一些簡單的過程來描述你在USQL中描述的內容，其中可以將參數從ADF傳遞給USQL過程以用於不同類型的行爲。

您創建的代碼可以位於Azure Data Lake Analytics數據庫中，類似於TSQL對象。然後也許開始使用Azure Data Lake Storage，而不是普通的Blob。

選項2：分手C＃並創建自己的Azure數據工廠定製活動並創建一組類以完成您所需的操作。再次通過ADF傳遞的參數或在方法中包含邏輯來檢查「完整」表格內容。然而，這將涉及更多的開發工作，並且需要計算的Azure批處理服務。