2014-12-03 66 views
3

Namenode HA(NFS,QJM)在hadoop 2.x(HDFS-1623)中可用。它爲Namenode提供了快速故障轉移功能,但是我找不到上的任何描述需要多長時間才能從故障中恢復恢復。任何人都可以告訴我嗎?namenode ha故障轉移時間


感謝您answer.As事實的事情,我想知道兩個節點(活動NameNode和備用的NameNode)的轉變之間的時間。可你告訴我多久?

回答

0
  • 快速故障轉移是指不是復甦,但故障轉移到其他的NameNode
  • 哈的NameNode與多個namenodes
  • 配置如果任何一個NameNode會成爲失敗那麼其他的NameNode會變得活躍。
  • 如果失敗namenode再次啓動意味着它將處於待機狀態。
+0

戴rengamasy ... vaiku vandhalam POTU vidriyaa – Varadha31590 2016-10-12 07:25:24

0
  • 當您使用HA,多個NameNode的集羣將運行,但雜誌節點將在一次單獨的名稱節點上只寫。所以一個名字節點將在活躍狀態,另外一個將在待機

  • 如果一個NameNode的失敗,則備用節點將transist進入活躍狀態。它被稱爲從失敗中恢復。

+0

雜誌節點上都'active'寫入和'passive' namenodes,如果不寫,那麼如何被動的NameNode可以採取管理和管理活動namenode以前處理的元數據? – 2014-12-03 12:56:34

+0

日記節點寫入活動名稱節點,備用名稱節點從日誌節點讀取。 – Kumar 2014-12-03 18:05:12

1

的Hadoop權威指南,我相信這是很容易理解和非常直截了當。
故障轉移和圍欄

從活動名稱節點到備用的轉換由系統中的一個 新實體管理的稱爲故障轉移控制器。故障轉移 控制器是可插拔的,但第一個實施使用ZooKeeper 確保只有一個名稱節點處於活動狀態。每個名稱節點都運行一個輕量級故障轉移控制器進程,該進程的工作是監視名稱節點的故障(使用簡單的心跳線機制)和 ,如果名稱節點失敗,則會觸發故障轉移。

例如,故障轉移也可以由管理員手動啓動,例如在日常維護的 案例中。這被稱爲優雅 故障切換,因爲故障切換控制器安排了兩個名稱節點的切換 切換以切換角色。

但是,如果出現 不符合故障轉移的情況,則不可能確定 失敗的namenode已停止運行。例如,慢速網絡或網絡分區可以觸發故障轉移,即使之前活動的名稱節點仍在運行,並且認爲它仍然是 活動的名稱節點。高可用性實現盡最大努力,以確保以前活動的名稱節點不會受到任何 損壞並導致損壞 - 一種稱爲防護的方法。該系統 採用一系列擊劍機制,包括殺死 名稱節點的過程中,撤銷其訪問共享存儲 目錄(典型地通過使用供應商特定的NFS的COM普通話),和 經由遠程管理禁用其網絡端口命令。作爲最後的 度假村,以前活動的名稱節點可以使用技術 (圖形上稱爲STONITH)或「在 磁頭中拍攝另一個節點」進行圍繞,該技術使用專用的配電裝置強制使用 電源放下主機。

客戶端故障轉移由客戶端庫透明地處理。最簡單的實現使用客戶端配置來控制故障轉移。 HDFS URI使用映射到 一對namenode地址(在配置文件中)的邏輯主機名,客戶機 庫嘗試每個namenode地址,直到操作成功。

希望它有幫助!

2

這裏是時間故障轉移與備用的NameNode一些合格的例子:

使用300TB原始存儲6000000塊和100K文件60節點集羣:30秒。因此,總故障切換時間範圍爲1-3分鐘。

200個節點的羣集佔用1PB原始存儲空間和100萬個文件:110秒。因此總的故障切換時間範圍從2.5到4.5分鐘。

對於小型到中型羣集,冷故障轉移速度只有30到120秒慢。

來源:http://hortonworks.com/blog/ha-namenode-for-hdfs-with-hadoop-1-0-part-1/

+1

我認爲那些時間是指Hadoop 1.x.就在鏈接引用部分之前,它說:「Hadoop 1需要啓動第二個NameNode,NameNode才能脫離安全模式。在我們的實驗中,我們觀察了以下時間......」。這個問題是關於Hadoop 2.x的問題。 – 2017-09-18 15:31:45