如何將azure blob文件複製到azure數據分析解決方案

Question

有沒有辦法在Azure上創建一個作業或Azure服務來將Azure blob文件移動（切割）到Azure數據存儲區？

Answer 1

我會說Azure Data Factory非常適合這一點。它支持調度（https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution），它支持將數據從Blob傳輸到Azure Data Lake。看到這個例子：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-datalake-connector

從網站：

數據工廠是編排和自動數據的移動和轉換基於雲的數據集成服務。您可以使用Data Factory服務創建數據集成解決方案，該服務可以從各種數據存儲中提取數據，轉換/處理數據並將結果數據發佈到數據存儲。

數據工廠服務允許您創建移動和轉換數據的數據管道，然後運行指定的時間表（小時，每日，每週等）的管道。它還提供了豐富的可視化功能，可顯示數據管道之間的沿襲和依賴關係，並可從單一統一視圖監控所有數據管道，輕鬆查明問題並設置監控警報。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-introduction

Answer 2

Azure的數據分析湖是的計算服務，而不是數據存儲。

數據湖分析工作可以連接到數據上：

• 數據湖店
• Azure存儲（BLOB）：看到https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-manage-use-portal#manage-account-data-sources
• 其他來源通過聯合查詢：http://sqlblog.com/blogs/jorg_klein/archive/2016/06/17/setup-azure-data-lake-analytics-federated-u-sql-queries-to-azure-sql-database.aspx

因此，您可以將數據保留在blob存儲中，或使用Azure Data Factory將其轉移到Data Lake Store，以獲得最佳的分析性能並享受它的優勢其他好處（見https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview）。