如何覆蓋hadoop中的默認log4j屬性

Question

當前我們正在使用hadoop.root.logger="INFO,console"進行mapreduce和spark作業。我想"WARN,console"覆蓋，我試圖設置全局變量

export HADOOP_ROOT_LOGGER="WARN,console" 

在hadoop-env.sh，但它不工作。我可以看到信息，警告，紗線日誌中的錯誤。我如何重寫這些設置。

Answer 1

文件yarn-env.sh有這些行覆蓋YARN進程的日誌級別。

YARN_OPTS="$YARN_OPTS -Dhadoop.root.logger=${YARN_ROOT_LOGGER:-INFO,console}" 
YARN_OPTS="$YARN_OPTS -Dyarn.root.logger=${YARN_ROOT_LOGGER:-INFO,console}" 

如果沒有設置YARN_ROOT_LOGGER，紗日誌級別設置爲INFO。

添加在hadoop-env.sh變量YARN_ROOT_LOGGER，

export YARN_ROOT_LOGGER="WARN,console"