不使用spark-submit.sh時，Spark如何知道紗線資源管理器正在運行的位置？

我對Spark很新穎，我試圖在紗線叢集模式下從我的應用程序（不使用spark-submit.sh）啓動一個Spark作業，我試圖弄清楚工作如何知道在哪裏紗線ResourceManager正在運行。我已經做了不使用spark-submit.sh時，Spark如何知道紗線資源管理器正在運行的位置？

SparkConf sConf = new SparkConf().setMaster("yarn-cluster").set("spark.driver.memory", "10g");

但是我不能夠配置爲紗線的ResourceManager的位置。關於我如何去做的任何想法？我有一個集羣安裝程序，其中Yarn RM不與應用程序在同一臺機器上運行。

來源

2017-04-12 thisisshantzz

查找到星火啓動API - org.apache.spark.launcher Java Doc
或閱讀在這裏 - SparkLauncher — Launching Spark Applications

來源

2017-04-12 13:59:48

據我所知，火花提交腳本做了很多像創建工作節點等的類路徑，但星火API已經支持設置類路徑也是有點乏味的。但是我找不到如何設置Yarn羣集的位置。將設置HADOOP_CONF_DIR環境變量的工作？ – thisisshantzz

文檔聲明Spark將從'HADOOP_CONF_DIR'或'YARN_CONF_DIR'（例如yarn-site.xml）瞭解YARN ResourceManager。有關Spark文檔的更多信息 - [在YARN上運行Spark]（http://spark.apache.org/docs/latest/running-on-yarn.html） –

屬性可以在yarn-site.xml發現無論是位於您HADOOP_CONF_DIR或YARN_CONF_DIR環境變量，它們要麼設置在操作系統級別，或在spark-env.sh。

在非HA部署，您正在尋找yarn.resourcemanager.address

來源

2017-09-05 17:04:50

不使用spark-submit.sh時，Spark如何知道紗線資源管理器正在運行的位置？

回答

相關問題