2016-03-03 164 views
8

在我的應用程序中,我需要連接到數據庫,因此我需要在提交應用程序時傳遞IP地址和數據庫名稱。如何通過Spark提交外部參數提交

我遞交了申請,如下所示:

./spark-submit --class class name --master spark://localhost:7077 \ 
--deploy-mode client /home/hadoop/myjar.jar 

回答

11

如果檢查the official documentation你會看到​​有以下語法:

./bin/spark-submit \ 
    --class <main-class> 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

您可以使用application-argumentsconf傳遞所需配置主要方法和SparkConf分別。

1

如前所述通過zero323可以使用從the link

./bin/spark-submit \ 
    --class <main-class> 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

這裏火花提交命令,的conf用來傳遞其所需的像任何運行應用程序的星火相關CONFIGS (執行程序內存),或者如果您要覆蓋在Spark-default.conf中設置的默認屬性。

至於你的使用情況而言,你想通過IP的應用程序連接到數據庫,然後你可以使用[應用參數]它們的JAR後通過。

當您設置主要爲:

def main(args: Array[String]) 

然後你就可以接受任何作爲的.jar行後給出的參數。

請參考for more details