Hadoop HDFS備份

Question

我想問問什麼是保持我的hadoop羣集安全並安排定期備份的最佳方式。 是否可以對namenode進行實時備份？如何設置備份節點？

Answer 1

您可以設置一個輔助名稱節點，它將定期自動備份namenode。在namenode失敗的情況下，您可以使用輔助名稱節點重新生成名稱節點元數據。

您還可以設置HA（高可用性）集羣中的，所以，如果名稱節點出現故障，羣集將自動切換到HA過程中產生的備用名稱節點。請在此處閱讀有關HA的更多信息：http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/HDFSHighAvailabilityWithNFS.html

Answer 2

@amar提供了一種解決方案，以確保您的羣集具有高可用性。另外，您應該考慮如何最好地保護Hadoop集羣上的數據免受用戶錯誤，邏輯損壞和災難的影響，並且有多種方法可以做到這一點。您可以編寫使用HDFS快照和distcp的腳本來完成您所需的操作。如果您不想編寫和維護腳本，則可以使用Cloudera BDR或Talena等解決方案，這些解決方案提供非常全面的備份和DR功能。請注意，我爲Talena工作。