使用靜態池限制Hue資源cgroup

我瞭解，您可以通過靜態服務池中的cgroup來限制Hadoop服務。我想限制Hue服務，因爲有時它會佔用我們在Edge節點上的所有內存，並傷害我們的加載過程。
但是我無法在靜態服務池配置中找到Hue - 它只給我選項 - HDFS，Impala，YARN，Hbase。
Hue設置是否可以在這裏完成，或者我需要在其他地方完成？使用靜態池限制Hue資源cgroup

謝謝。

來源

2017-09-07 k_mishap

在這種情況下，您可以嘗試在Cloudera Manager Hue配置頁面中設置cgroup內存軟限制，但我認爲它不會有多大幫助。這是Hue中的一個已知問題，由於Python 內存碎片。 Hue中可能會觸發一些常見操作，例如下載大型查詢結果集（超過10M）或使用HDFS文件瀏覽器瀏覽大量文件（1000+）以上的HDFS目錄。要求你的用戶不要做這些操作。

如果此內存問題不斷髮生，您可以使用腳本https://github.com/cloudera/hue/blob/master/tools/ops/hue_mem_cron.sh來設置cron作業。該腳本監視Hue進程的內存使用情況，如果使用太多，會將其殺死。您需要配置Cloudera Manager以自動重啓Hue。

當然，殺死Hue並不是一個理想的解決方案。你可以做的是設置Hue HA與負載平衡器在多個Hue實例之前，以緩解這個問題。您可以按照文檔https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_hag_hue_config.html進行設置

來源

2017-09-08 15:02:34 Lan

太棒了，感謝您的大量信息。我經常與我的用戶討論這個問題（不要下載，瀏覽），但總是有人僞造。我將設置cron作爲臨時解決方案，並提出醫管局作爲正確的方法。 –

您可以根據需要激活cgroup內存選項（Cgroup內存軟限制，Cgroup內存硬限制）。

來源

2017-09-07 12:28:38 jedijs

使用靜態池限制Hue資源cgroup

回答

相關問題