Azure Data Factory是否適合從非Azure REST API中下載數據？

Question

考慮一個數據處理管道如下：

1. 從某處在互聯網上託管一個REST API獲取大量數據，並堅持到數據存儲。
2. 對持久數據執行一些複雜的數據轉換。
3. 在數據存儲上保留數據轉換的結果。

爲了在Azure中實現這樣的管道，步驟2和步驟3看起來非常適合實施爲Azure Data Factory活動。

我的問題是 - 在Azure數據工廠活動中實施步驟1是否有意義？

從技術上講，編寫執行數據下載和持久性的.Net活動可能是可行的。

Answer 1

否 - 不要在Azure數據工廠活動中實施步驟1。

從技術上講，可以從ADF運行整個過程，但我認爲選擇比其他選項更昂貴（相對），因爲您將pay for each activity in Azure Data Factory。

例如，如果其他API在啓動（計劃）活動時沒有提供任何新數據，該怎麼辦？你會爲此付費。

，您可以考慮以下內容作爲一個容易實現的選擇： 1 - 創建.NET控制檯應用程序，發佈爲WebJob，安排爲每天運行。 2 - 長時間運行的控制檯應用程序可以查詢其餘api，將數據保存到azure存儲/ documentdb中，將消息推入隊列，觸發ADF步驟2/3以針對保存的數據運行。

Answer 2

我已經完成了使用.Net活動。我需要從Salesforce API獲取數據。這一直適合我的需求。 Here是一篇關於創建.net活動並將數據存儲在天藍色數據湖中的文章。

就像在Newport99的回答中一樣，您會爲此活動付出代價，但我不確定運行單獨的Web應用程序來承載Web作業並運行Azure Data Factory管道會帶來多大的成本影響。當我最初設計解決方案時，WebJob是我的第一選擇，但最終我更傾向於讓整個解決方案使用一種天藍色的服務而不是多種服務。

希望有所幫助。