即使將命令行添加到命令行後，HDFS委託令牌也會過期

我正在hadoop中運行Spark流作業。該機器是kerberized，它運行良好42小時，並由於HDFS令牌委託失效而失敗。即使將命令行添加到命令行後，HDFS委託令牌也會過期

我甚至將crontab設置爲每8小時運行一次的kinit命令，並且我擁有10小時的Max-renew lifetime令牌。

Failed due to error: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): token (HDFS_DELEGATION_TOKEN token

我也在啓動它的同時在命令行中使用原則執行作業。

來源

2016-09-16 Mahadevan

問題已解決...！在啓動作業時添加了以下配置來啓動命令行，並且它工作正常。

--conf spark.hadoop.fs.hdfs.impl.disable.cache=true

或者您可以在紗線配置級別更改此設置以影響全局。

我測試它運行良好3天。

感謝

來源

2016-10-07 20:43:42 Mahadevan

也試圖加入「--conf mapreduce.job.complete.cancel.delegation.tokens =假」，幫我的一個多星期運行作業，它是解決..！ – Mahadevan

我在提交Spark Streamming作業時添加了「--conf spark.hadoop.fs.hdfs.impl.disable.cache = true」和「--conf mapreduce.job.complete.cancel.delegation.tokens = false」，但這是行不通的。 – leocook

即使將命令行添加到命令行後，HDFS委託令牌也會過期

回答

相關問題