2012-03-23 249 views
0

我一直在嘗試使用完全分佈式版本的一些問題。首先我會告訴你我的配置:hbase.cluster.distributed設置爲true,但它表示爲false

我有4個服務器(server_ {1,2,3,4}),6GB內存和2個內核。我在所有這些安裝的hadoop,這是配置:

  • Server_1爲名稱節點,數據節點和二次名稱節點
  • 的Server_2,server_3,server_4:數據節點

存儲約爲500GB

在另一方面,我已經安裝了HBase的,這是配置:

  • 服務器1:主站和RegionServer的
  • 的Server_2:動物園管理員和RegionServer的
  • server_3和server_4:RegionServer的

hbase-site.xml每個服務器看起來是這樣的:

<property> 
    <name>hbase.zookeeper.quorum</name> 
    <value>server_2</value> 
</property> 
<property> 
    <name>hbase.zookeeper.property.dataDir</name> 
    <value>/hdfs/zookeeper</value> 
</property> 
<property> 
    <name>dfs.support.append</name> 
    <value>true</value> 
</property> 
<property> 
    <name>hbase.rootdir</name> 
    <value>hdfs://server_1:54310/hbase</value> 
</property> 
<property> 
    <name>hbase.cluster.distributed</name> 
    <value>true</value> 
</property> 

所以我有一些問題,你可能幫我:

  1. 插入緩慢。我有兩列家庭的字母數字行。插入200000行大約需要9分鐘,但這或多或少是可以接受的。
  2. 我有地圖減少工作,我創建一個配置:

    Configuration config = HBaseConfiguration.create();

,然後我問config.get("hbase.cluster.distributed");,它說「假」,你覺得呢?

回答

0

對於第一個問題,很難真正給出一個很好的答案,爲什麼插入緩慢(或者他們是否真的很慢)。我們不知道這些機器有多強大,你有什麼樣的磁盤或網絡硬件,單個單元值有多大,列或行鍵有多大,等等。有太多的變量來決定是否這樣緩慢或快速。

關於分佈式設置,您需要確保啓動的計算機 MapReduce作業也具有相同的hbase-site.xml。您還需要確保MR配置類加載hbase-site.xml。

相關問題