即使在刪除列族後Hbase-Hadoop DFS大小也不會減少

Question

我們在EC2上有一個小型Hbase羣集，並帶有6個區域服務器。最近我們發現其中一個柱子系列的數據對我們來說確實沒什麼用處，因此決定挑選它。這個特定的列系列佔用了磁盤空間的50％以上。 我們修改了表格，刪除了列族並運行了重大壓縮。 我們還對'-ROOT-'和'.META'進行了重大壓縮。表。 但是總DFS文件大小仍然沒有減少？ 我們在這裏錯過了什麼。 任何幫助/指針將不勝感激。

關於。

Answer 1

Got it！ 這是一個Hbase中的錯誤。他們沒有從HDFS中刪除文件管理器。我們必須從hadoop-files系統中找到並刪除這些文件。

Answer 2

只需要添加另一個東西來檢入Hbase 0.90.4，至少刪除一個表會從HDFS刪除這些文件，但是.logs目錄的內容不一定。

例如，運行hadoop fs -du /yourHbaseDirInDFS，您將看到帶有大量數據的.logs目錄。這似乎沒有消失，直到HBase羣集重新啓動。或者我猜你可以手動刪除日誌文件，但對我來說讓hbase做到這一點似乎更好。