使用Cloudera模擬Map-Reduce

我想在一臺機器上使用cloudera來模擬Hadoop作業（當然有很多VM）。我有2個問題 1）我可以在cloudera中更改HDFS的複製策略嗎？ 2）我可以看到每個虛擬機的CPU使用情況嗎？使用Cloudera模擬Map-Reduce

2012-04-26 Sara

我發現我可以通過更改「ReplicationTargetChooser.java」來更改數據複製策略。

2012-04-26 16:55:35 Sara

您可以使用hadoop fs -setrep更改任何文件的複製因子。您也可以通過添加以下修改hdfs-site.xml更改默認複製因子： <property> <name>dfs.replication</name> <value>2</value> </property>

你必須登錄到每個框，並使用top看到每個虛擬機的CPU使用率。 Hadoop中沒有任何東西可以讓你看到這一點。

2012-04-26 04:18:07

謝謝。但我不想改變我想改變數據放置策略的因素。我想說每個副本都駐留在哪個節點上。像這個https://issues.apache.org/jira/browse/HDFS-385。 – Sara 2012-04-26 04:22:15

你之前問過這個問題 - 這是不可能的。也許你應該試着問你實際上正在做什麼，這樣我們可以提出正確的做法。 – 2012-04-26 04:25:00

但在上面的鏈接似乎解決了！我想更改數據副本位置以查看能源使用情況如何變化。 – Sara 2012-04-26 04:27:28

回答