2014-09-22 139 views
0

我一直在使用下面的命令格式化名稱節點:如何清除namenode中的所有文件?

sudo service hadoop-hdfs-namenode stop 
rm -rf /var/lib/hadoop-hdfs/cache/hdfs/dfs/name 
hadoop namenode -format 
sudo service hadoop-hdfs-namenode start 

但是當格式化後,當我再次嘗試瀏覽的NameNode它讓我看到文件。爲什麼不格式化刪除所有文件? hadoop namenode -format輸出的

最後幾行:

14/09/22 03:25:14 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB 
14/09/22 03:25:14 INFO util.GSet: capacity  = 2^15 = 32768 entries 
14/09/22 03:25:14 INFO namenode.AclConfigFlag: ACLs enabled? false 
Re-format filesystem in Storage Directory /var/lib/hadoop-hdfs/cache/cloudera/dfs/name ? (Y or N) Y 
14/09/22 03:25:16 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1124575958-0.0.0.0-1411381516246 
14/09/22 03:25:16 INFO common.Storage: Storage directory /var/lib/hadoop-hdfs/cache/cloudera/dfs/name has been successfully formatted. 
14/09/22 03:25:16 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 
14/09/22 03:25:16 INFO util.ExitUtil: Exiting with status 0 
14/09/22 03:25:16 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down NameNode at quickstart.cloudera/0.0.0.0 
************************************************************/ 

後,仍然格式化它爲我以前的文件:

[[email protected] name]$ hadoop fs -ls/
Found 3 items 
-rw-r--r-- 1 cloudera supergroup  9051 2014-09-22 02:50 /notice.html 
drwxr-xr-x - solr  solr    0 2014-09-19 02:30 /solr 
drwxr-xr-x - hdfs  supergroup   0 2014-09-19 02:26 /user 

回答

0

您必須格式化數據管理部可刪除在HDFS中的所有文件,這是以類似於namenode的方式完成的,

hadoop datanode -formathdfs datanode -formathdfs hadoop datanode -f ormat根據您的hadoop版本。

+0

我不確定是這種情況。 'hadoop datanode --help'顯示'-format'不是數據節點的有效選項。 Namenode存儲文件系統。實際數據不需要擦除以刪除文件系統條目。 – 2014-09-22 11:07:31

+0

你的hadoop版本是什麼 – 2014-09-22 11:09:11

+0

'Hadoop 2.3.0-cdh5.1.0' – 2014-09-22 11:10:10