2010-09-19 70 views
0
  1. 我有一些Lucene的經驗,我想了解數據是如何實際存儲在Hadoop框架的從服務器中的?Hadoop Data Persistance使用哪種格式?

  2. 我們是否在Slave服務器中創建了一組索引來描述我們存儲的文檔?它在現實中如何運作?

回答

0

數據被拆分成特定大小的塊,然後複製到羣集中的其他節點以獲得可靠性。這個過程由一個單一的「名稱節點」來處理,它跟蹤哪些數據塊已經到達哪裏。

的Hadoop提供了一個虛擬文件系統,類似於Unix的,您可以查詢使用各種Hadoop filesystem tools(LS,GET,PUT等)

This link應該給你一個全面的概述。

+0

該鏈接有點過時。您應該前往http://hadoop.apache.org/hdfs/docs/current/hdfs_design.html獲取當前版本的HDFS設計文檔。 – 2010-10-15 10:19:57

+0

看起來這個鏈接也死了。試試這個([HTML](http://hadoop.apache.org/docs/r0.18.0/hdfs_design.html)| [PDF](http://hadoop.apache.org/docs/r0.18.0/hdfs_design。 PDF)) – kelloti 2013-02-15 20:31:24