HDFS複製因素是如何決定的？

Question

HDFS中的複製因子必須至少爲3.儘管事實上選擇它爲3的主要目的是容錯，並且機架故障的可能性遠小於節點故障的可能性，但是複製因素背後的另一個原因是至少3？

Answer 1

沒有理由複製因子必須是3，這是hadoop自帶的默認值。您可以分別爲HDFS中的每個文件設置複製級別。除了容錯功能外，還允許使用消耗相同數據的作業並行運行。此外，如果有數據副本，hadoop可以嘗試運行同一任務的多個副本，並首先完成相應任務。如果出於某種原因盒子速度很慢，這很有用。