我有一個每天將文件導入Data lake store的軟件包。這是不同的值(相同的列等)相同的文件。我的想法是將這些文件合併到Data Lake上的單個文件中,以獲得月度報告。我想調查U-SQL,所以我的問題是:
這可能與U-SQL有關嗎?
如果不可能有其他的選擇嗎?合併來自Data lake store的文件
0
A
回答
3
很容易合併兩個文件中的記錄並寫入一個新文件。下面是步驟
- 使用EXTRACT
- 使用EXTRACT 讀取當前主文件的所有記錄讀取所有新文件的
- 使用UNION ALL的記錄合併:https://msdn.microsoft.com/en-us/library/azure/mt621340.aspx
- 輸出寫入使用OUTPUT語句
主文件對於一個快速的U SQL教程去這裏:https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-get-started
0
我沒有在Azure數據庫中調用過,但我可以想象,Microsoft的數據工具可以爲此創建一個應用程序。可以試試嗎?
相關問題
- 1. Azure Data Lake Store - 文件權限更新
- 2. Azure Data Lake:對Azure Data Lake Store的請求未經授權
- 3. SSIS組件 - Azure Data Lake Store源無法加載平面文件
- 4. 如何枚舉Data Lake Store中的文件子集?
- 5. Usql與Azure Data Lake Store .net SDK
- 6. Azure Data Lake Store - 從文件讀取時出錯
- 7. 從Azure Data Lake Store .NET SDK創建文件
- 8. 如何使用SSIS將文件上傳到Azure Data lake store?
- 9. 無法提供從HDInsight羣集訪問Azure Data Lake Store文件
- 10. 使用Azure Data Lake Store的MsConcat函數合併CSV文件時,可以跳過標題行嗎?
- 11. 我們如何在Azure Data Lake Store文件夾內複製任何文件
- 12. 是否有適用於Azure Data Lake Store的本地模擬器
- 13. 具有WebJob/Azure功能的Azure Data Lake Store和Azure SQL
- 14. 對Data Lake Store鏈接服務的Azure批處理支持
- 15. 微軟Azure Data Lake存儲
- 16. Azure Data Lake Store SDK:FileStatusProperties.ChildrenNum屬性始終爲空
- 17. AWS Data Lake Dynamo與ElasticSearch
- 18. 將DocumentDB集合移動到Azure Data Lake存儲
- 19. 如何將日期時間附加到由數據工廠發佈到Azure Data Lake Store的文件名?
- 20. 如何通過azure power shell命令讀取Azure Data Lake Store中存在的文件?
- 21. Azure Data Lake中的U-SQL輸出
- 22. 合併來自文件夾的文本文件VBA
- 23. Azure Data Lake Store - 現有連接被遠程主機強制關閉
- 24. 如何將JSON文件上傳到Azure Data Lake表
- 25. Azure Data Lake Analytics中的內存限制
- 26. Data Lake中的數據保留策略
- 27. 使用Azure數據工廠將數據從Data Lake Store(JSON文件)移動到Azure搜索
- 28. 合併來自多個來源的Jacoco報告文件
- 29. 合併並比較來自不同文件的不同列
- 30. Ember-Data Unit Testing Store
謝謝你的回答。我會嘗試使用此 https://msdn.microsoft.com/en-us/library/azure/mt621340.aspx?f=255&MSPPError=-2147217396 – DraganB