我已經爲NetCDF文件實施了一個自定義提取器,並在輸出它們之前將這些變量加載到內存中的數組中。有些陣列可能很大,所以我想知道ADLA中的內存限制。是否有可以分配的最大內存量?Azure Data Lake Analytics中的內存限制
3
A
回答
4
(Azure Data Lake Team here)
每個頂點有6GB可用。請記住,該內存在操作系統,U-SQL運行時和在頂點上運行的用戶代碼之間共享。
2
除了Saveen的回覆:請注意,一行最多可以包含4MB的數據,因此您的SqlArray
將受限於最大行大小以及從您的提取器返回後。
相關問題
- 1. Azure Data Lake存儲帶寬限制
- 2. 微軟Azure Data Lake存儲
- 3. Azure Data Lake Analytics在Azure門戶中添加Powershell API
- 4. Azure Data Lake:對Azure Data Lake Store的請求未經授權
- 5. Azure Data Lake Store - 文件權限更新
- 6. 使用Azure Data Lake Analytics與傳統ETL方法的原因
- 7. Azure Data Lake中的U-SQL輸出
- 8. 如何使用C#.NET和Powershell複製Azure Data Lake存儲內的文件
- 9. 將Azure CDN與Azure Data Lake存儲集成
- 10. 是否可以從Azure Data Lake Analytics中刪除已完成的作業?
- 11. Usql與Azure Data Lake Store .net SDK
- 12. Data Lake Analytics - 在Visual Studio中創建憑據
- 13. 具有WebJob/Azure功能的Azure Data Lake Store和Azure SQL
- 14. 我可以有任何關於Azure Data Lake內部的書嗎?
- 15. Azure Data Lake Analytics(分析)和從鏈接數據源(blob)查詢數據
- 16. 調試Azure Data Lake Analytics - 本地調試頂點沒有創建解決方案
- 17. 將Azure數據工廠複製活動複製到Azure Data Lake表
- 18. Azure Data Lake是否支持內容搜索?
- 19. 將DocumentDB集合移動到Azure Data Lake存儲
- 20. 我們如何在Azure Data Lake Store文件夾內複製任何文件
- 21. 將Azure應用程序的Insight日誌文件導出到Azure Data Lake存儲
- 22. 壓縮編碼解碼器在Azure Data Lake中的影響
- 23. Data Lake中的數據保留策略
- 24. 無法提供從HDInsight羣集訪問Azure Data Lake Store文件
- 25. 對Data Lake Store鏈接服務的Azure批處理支持
- 26. 從Azure Data Lake Store .NET SDK創建文件
- 27. 如何在Azure分析服務中連接Data Lake商店
- 28. 如何將Azure服務總線隊列中的消息觸發到Azure Data Lake?
- 29. AWS Data Lake Dynamo與ElasticSearch
- 30. 是否有適用於Azure Data Lake Store的本地模擬器