我讀過的HDFS速度很快,因爲它可以放鬆一些POSIX工藝,但這是如何工作的?或者至少是哪些?我還沒有找到答案,因爲在谷歌上,我發現有人將提問者重定向到一個大型網站!HDFS如何放鬆POSIX
3
A
回答
5
按照Hadoop - The Definitive Guide(建議拿書)
創建一個文件後,它是在文件系統命名空間中可見,正如所料:
的文件系統中的一致性模型描述了數據讀取和寫入文件的可見性。 HDFS違背了POSIX對性能的一些要求,所以一些操作的行爲可能與您預期的不同。
但是,即使流被刷新,寫入文件的任何內容也不能保證可見。所以文件似乎長度爲零:
一旦寫入了一個塊的數據量,第一個塊將對新讀者可見。後續塊也是如此:它總是被寫入的當前塊對其他讀者不可見。
HDFS提供了一種強制所有緩衝區通過FSDataOutputStream上的sync()方法同步到datanodes的方法。從同步()成功返回後,HDFS保證在文件中寫了該點的數據持久化和可視 所有新的讀者:
的另一件事是
有三種權限類型:讀取權限(r),寫入權限(w)和執行權限(x)。讀取權限是讀取文件或列出目錄內容所必需的。寫入權限是寫入文件或目錄所需的,以創建或刪除文件或目錄。由於無法在HDFS上執行文件(與POSIX不同),並且需要訪問其子項所需的目錄,因此文件的執行權限被忽略。
相關問題
- 1. 如何使用yum輕鬆地爲PHP添加posix支持?
- 2. LLVM異常;如何在此刻放鬆
- 3. 放鬆繼續不放開
- 4. 我如何從HDFS
- 5. 如何使用POSIX select()
- 6. 放鬆兩個階段
- 7. 撤消放鬆在MongoDB中
- 8. .Net - 什麼是「放鬆」?
- 9. 放鬆在DocumentDB查詢
- 10. 放鬆固定位置jquery
- 11. CUDA雅可比放鬆
- 12. HDFS把本地文件放到hdfs中,但得到了UnresolvedAddressException
- 13. 如何將輸入文件自動放入hdfs中?
- 14. 如何輕鬆將自定義字體放入HTML5 Canvas?
- 15. 如何放鬆SQL Server中的GROUP BY限制?
- 16. iOS - 如何控制放鬆Segue中的動畫類型?
- 17. 如何將杜松子酒模式設置爲釋放模式?
- 18. 如何在MongoDB中聚合放鬆不止一個陣列
- 19. 如何放鬆恐慌中的所有線程?
- 20. 如何更改hdfs用戶的HDFS用戶主目錄?
- 21. vmware如何輕鬆安裝?
- 22. 如何使用JXA中的POSIX路徑
- 23. 如何在POSIX中獲取MTU
- 24. 如何在windows中安裝'posix'
- 25. 如何使用S_ISREG()和S_ISDIR()POSIX宏?
- 26. POSIX取消點應該如何表現?
- 27. 如何從nodejs發送POSIX信號
- 28. 如何在php中安裝posix
- 29. 如何將PCRE轉換爲POSIX RE?
- 30. $放鬆嵌套的文件和$匹配
這就是我需要的,非常感謝你:) – 2012-07-06 21:56:08