如何將腳本操作添加到Azure HD Insight羣集

Question

我正在使用Powershell創建HD Insight Spark羣集，並且希望在使用腳本操作創建羣集後配置Spark和Hive配置。我想設置的配置值是

spark.yarn.maxAppAttempts=1 spark.yarn.executor.memoryOverhead = 1152 hive.merge.orcfile.stripe.level = false 請注意，我不想使用Ambari用戶界面來設置這些值，我想使用腳本操作。

Answer 1

請參閱https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-linux。

您也可以使用引導程序。請參閱https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-bootstrap

Answer 2

爲了更新hive.merge.orcfile.stripe.level，您可以使用像https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-bootstrap這樣的引導腳本。 如果你想更新火花參數你至少有3個選項。首先這些參數可以在你提交spark應用程序時傳遞。第二你可以使用Ambari UI進行更新，如下所示： https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-resource-manager 第三你可以使用腳本動作或僅通過ssh更新spark-defaults.conf到頭節點並更新此文件。