HDFS/tmp文件系統正在迅速填滿，預計將導致停機

Question

在我們的Hadoop集羣（Cloudera發行版）中，我們最近發現Hive Job是由用戶在'/ tmp'位置創建160 TB文件啓動的，它幾乎消耗了剩餘的HDFS空間並即將導致停機。之後我們會解決並殺死特定的工作，因爲我們無法聯繫到啓動此工作的用戶。

所以現在我的問題是，如果有人創建了大文件或者我們需要限制使用HDFA配額的用戶，我們能否爲'/ tmp'位置設置警報。如果您有任何其他建議，請分享。

Answer 1

您可以設置並通過使用下面的命令集

hdfs dfsadmin -setQuota <N> <directory>...<directory> 

    hdfs dfsadmin -clrQuota <directory>...<directory> 

    hdfs dfsadmin -setSpaceQuota <N> <directory>...<directory> 

    hdfs dfsadmin -clrSpaceQuota <directory>...<directory> 

*其中N是您要設置

Reference Link

的字節數管理的目錄限額

Helpful article

希望這可以幫助你的情況。

Answer 2

您還可以從處理端管理來自紗線資源池中Cloudera Manager的資源。您可以限制分配給羣集上運行的每個用戶或服務的最大內核和內存。