0
我們有10個節點HDFS（Hadoop-2.6，cloudera-5.8）羣集，4個磁盤大小爲10TB，磁盤大小爲6TB，節點數爲3TB。在這種情況下，磁盤在小型磁盤節點上不斷充滿，但磁盤在高磁盤大小的節點上可用。針對不同磁盤大小的節點的HDFS數據寫入過程
我試圖理解，namenode如何將數據/塊寫入不同的磁盤大小節點。無論是平分還是寫數據的某個百分比。
A
回答
0
你應該看看dfs.datanode.fsdataset.volume.choosing.policy。默認情況下，它設置爲round-robin，但由於您有不對稱的磁盤設置，因此應將其更改爲available space。
你也可以與其他兩個choosing性能微調的磁盤使用情況。
欲瞭解更多信息，請參閱：
https://www.cloudera.com/documentation/enterprise/5-8-x/topics/admin_dn_storage_balancing.html
相關問題
- 1. 將HDFS數據寫入外部磁盤/磁帶
- 2. 在磁盤上存儲大量不同大小的對象
- 3. 將數據寫入每個數據節點中的本地磁盤
- 4. 要求Windows將數據寫入磁盤的不同方法
- 5. 寫入磁盤迴調的數據
- 6. 磁盤大小不正確
- 7. 數據大小和磁盤訪問
- 8. 將大數據結構作爲EDN寫入clojure中的磁盤
- 9. MongoDB副本集：主節點和次節點中的磁盤大小差異
- 10. HDFS磁盤已滿
- 11. FMDB databaseWithPath：不寫入磁盤
- 12. cProfile - 保留Python對象中的數據/延遲寫入磁盤
- 13. Azure站點恢復 - 磁盤大小
- 14. hdfs核心節點磁盤滿了，調查？
- 15. NSUserDefaults寫入磁盤？
- 16. 將大型數據集摘要寫入磁盤
- 17. 不寫入磁盤的C++文件
- 18. 返回數據幀vs寫入磁盤並從磁盤讀取csv的效率
- 19. semPaths - lavaan不同大小的節點SEM
- 20. Bcp存儲過程不寫入文件到磁盤
- 21. UNFORMAT磁盤大小串
- 22. 將reg文件傳遞給regedit而不寫入磁盤（以避免將解密數據寫入磁盤）
- 23. HDFS數據大小和Hive數據大小的差異
- 24. 通過XPath選擇屬性不區分大小寫的節點
- 25. Azure站點恢復磁盤大小不受支持但大小小於1 TB
- 26. UWP是漫遊應用程序數據大小的文件磁盤上的實際大小或大小？
- 27. 爲什麼FileOutputStream寫入磁盤上的不同位置？
- 28. HDFS排除AddblockRequestProto中的數據節點
- 29. 防止.net程序寫入磁盤
- 30. 切換包含cloudera hadoop/hdfs/hbase數據的磁盤