爲什麼我們需要兩個不同的火花配置文件？

火花defaults.conf
spark-env.sh

是什麼這兩個文件之間的差異？我們可以爲同一個火花應用程序嗎？

2017-02-04 Surender Raja

spark-env.sh：將所有諸如SPARK_YARN_USER_ENVSPARK_HOME等需要這些環境變量火花設備正常工作的系統環境變量。 spark-env.sh是一個shell腳本文件
火花defaults.conf：該文件將所有的火花CONFIGS如 spark.local.dir，spark.yarn.jars。這些配置對於Spark工作正常運行是必需的。以下是Spark的文檔。

斌/火花提交也將讀取從 CONF /火花defaults.conf，其中的每一行由一個鍵和由空格分開的值的配置選項。例如：
spark.master   spark://5.6.7.8:7077 
    spark.executor.memory 4g 
    spark.eventLog.enabled true 
    spark.serializer  org.apache.spark.serializer.KryoSerializer Any values specified as 
標誌或在屬性文件將被傳遞到應用程序以及與那些通過SparkConf指定合併。直接在SparkConf上設置屬性的優先級最高，然後標誌將傳遞給spark-submit或spark-shell，然後選擇 spark-defaults.conf文件中的選項。自早期版本的Spark以來，幾個配置鍵已被重命名爲 ;在這種情況下，舊密鑰名稱仍然可以接受，但優先級低於新密鑰的任何實例。

來源

2017-02-04 03:56:24

好吧假設我想設置一個屬性，這個屬性必須被我所有的spark工作使用。如果是這種情況，那麼我需要使用哪個屬性文件來設置該屬性？ –

它應該在spark-defaults.conf下 –

爲什麼我們需要兩個不同的火花配置文件？

回答

相關問題