如何使用Azure自動化從HDInsight啓動Spark 2.0

Question

我無法弄清楚如何從Azure自動化圖形操作手冊啓動HDInsight Spark 2.0。我有一個現有的使用Spark 1.6的HDInsight工作簿。通常情況下，我會將版本字符串從3.4更新到3.5，但看起來HDInsight 3.5有兩個版本 - 一個使用Spark 2.0，一個使用1.6版本。

誰能告訴我如何讓我的Runbook使用Spark2.0版本？

版本參考：https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning#hadoop-components-available-with-different-hdinsight-versions

Answer 1

我沒有決定如何使用ARM模板來做到這一點。希望這可以幫助你關注潤滑手冊。這是JSON執行2.0集羣。注意clusterVersion和componentVersion部分。

... 
"resources": [ 
    { 
     "apiVersion": "2015-03-01-preview", 
     "name": "somename", 
     "type": "Microsoft.HDInsight/clusters", 
     "location": "northcentralus", 
     "dependsOn": [], 
     "properties": { 
      "clusterVersion": "3.5", 
      "osType": "Linux", 
      "tier": "standard", 
      "clusterDefinition": { 
       "kind": "spark", 
       "componentVersion": { 
        "Spark": "2.0" 
       }, 
...