Azure Data Factory管道

Question

我想爲Azure blob conainters創建鏈接服務，Azure blob conainters的帳戶信息來自Azure SQL數據庫。由於條目和帳戶信息的數量是動態的，所以我無法在Azure數據工廠的設置部分定義鏈接到Azure blob容器的服務。 可以動態直接創建Azure數據工廠中的鏈接服務嗎？

Answer 1

不幸的是，在當前版本的ADF中這是不可能的。您只能使用函數來引用相對於流水線執行的元素（執行日期/時間）。您不能使用其他數據源動態定義斑點名稱。

您可以使用數據工廠功能以及與上述用於以下目的 系統變量：

1. 指定數據選擇查詢（見連接器的文章在數據移動活動的文章中引用 語法調用數據 工廠功能是：$$用於數據選擇查詢和其他 屬性在活動和數據集中
2. 在活動0123中指定數據工廠函數的輸入相關性輸入集合（參見上面的示例）。指定 輸入依賴關係表達式不需要$$。

從這裏

：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-functions-variables

這是目前可以做的blob輸入的一切：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-blob-connector

你的情況，我會建議，如果你可以重新定義你的輸入斑點有名稱/文件夾可以從執行管道的日期/時間派生，而不是您可以獲得的功能。

或者你可以有一個從sql獲取信息的usql調用，然後將blob移動到日期標記的文件夾中，然後管道可以接收。

Answer 2

嗯，我認爲這將通過Powershell腳本與數據工廠cmdlet和Azure功能的結合來運行它們。因此，PowerShell需要連接並從存儲中獲取schmas，創建數據集並部署它們，更改管道，設置管道調度和添加/刪除元素，然後恢復（或僅設置當天管道啓動）進程。但這需要相當多的工作。

但是，第2版中的Data Factory現在提供了更多的選項，包括使用SSIS，以便解決這個問題。