0
A
回答
0
我不知道你使用的Spark是在Azure上還是在本地。所以他們是兩種情況,但類似。
要在本地運行的火花,有一個官方blog,介紹如何從星火訪問Azure的Blob存儲。關鍵是您需要在
core-site.xml
文件中將Azure存儲帳戶配置爲HDFS兼容存儲,並將兩個罐子hadoop-azure
&azure-storage
添加到您的類路徑中,以便通過協議wasb[s]
訪問HDFS。您可以參考官方的tutorial來了解HDFS兼容存儲與和blog關於HDInsight配置的更多詳細信息。對於在Azure上運行的Spark,區別僅在於使用訪問HDFS,其他準備工作是在使用Spark創建HDInsight羣集時由Azure完成的。
的方法列出文件是listFiles
或SparkContext
wholeTextFiles
。
希望它有幫助。
相關問題
- 1. 如何使用Java從azure blob獲取特定文件的屬性?
- 2. 如何使用Azure存儲模擬器blob端點獲取blob?
- 3. Azure Blob存儲列表Blob
- 4. 如何使用git2go/libgit2從blob獲取實際文件?
- 5. Put /使用Android在Azure上獲取BLOB
- 6. 如何獲取Azure Blob存儲的縮略圖PDF文件
- 7. 從azure blob存儲內存流中獲取wave文件
- 8. 無法從azure blob容器獲取文件名
- 9. 從MapReduce獲取Azure Blob路徑
- 10. 如何從Azure啓動任務中的blob存儲獲取副本文件?
- 11. 如何使用LINQ從XML文件獲取完整列表?
- 12. 如何在使用blob時獲取azure blob的更新副本狀態StartCopyAsync
- 13. Node.js Azure OCR - 使用本地文件(blob)
- 14. 我如何直接從URL到Azure Blob獲取數據
- 15. 通過REST獲取更優化的Azure Blob列表
- 16. Azure Blob:獲取C中的阻止列表#
- 17. 無法使列表blob請求(Windows Azure)?
- 18. 從Azure IoT Hub獲取設備列表
- 19. 如何使用PHP從MySQL列出blob文件?
- 20. 使用Azure搜索blob提取器處理大文件
- 21. 如何從對象URL獲取文件或blob?
- 22. 如何從字節[](Blob)獲取文件類型擴展名
- 23. 獲取容器中的所有Azure blob文件名稱?
- 24. Azure表,blob
- 25. 如何從列表中獲取郵件?
- 26. PHP在Azure:如何列出BLOB的「文件夾」
- 27. 使用FileSaver.js從Azure Blob存儲下載損壞的文件
- 28. 爲什麼Azure文件/ blob存儲使用表請求
- 29. 使用java從Azure存儲獲取文檔/文件內容。
- 30. 如何獲取Blob存儲容器中所有文件夾的列表?