Scala Spark連接到遠程集羣

我希望連接到遠程集羣並執行Spark進程。所以，從我讀過的，這是在SparkConf中指定的。Scala Spark連接到遠程集羣

val conf = new SparkConf() 
    .setAppName("MyAppName") 
    .setMaster("spark://my_ip:7077")

其中my_ip是我的羣集的IP地址。不幸的是，我拒絕了連接。所以，我猜測必須添加一些憑證才能正確連接。我將如何指定憑證？看起來它會用.set（key，value）完成，但是沒有關於這方面的線索。

你連接到星火獨立集羣或紗線進行設置？ – jamborta

@jamborta我正在連接紗線 –

嘗試爲ssh會話創建證書並確保它能正常工作，並檢查防火牆是否允許此端口連接 – Pavel

有兩樣東西丟失：

集羣管理器應設置爲yarn（setMaster（「線」））和部署模式，以cluster，當前設置用於星火獨立。這裏更多的信息： http://spark.apache.org/docs/latest/configuration.html#application-properties
此外，您還需要從集羣yarn-site.xml和core-site.xml文件並把它們放在HADOOP_CONF_DIR，使星火可以拿起紗設置，如您的主節點的IP。更多信息：http://theckang.com/2015/remote-spark-jobs-on-yarn/

順便說一句，這會工作，如果你使用提交作業，編程它更復雜，實現它，只能用yarn-client模式，這是棘手的設置遠程控制。

2017-04-26 10:18:46 jamborta

爲了使用火花，你應該在應用程序初始化配置，使用--master yarn您spark-submi噸命令或setMaster("yarn")推出紗線的應用。
如果情況發送從遠程主機"spark-submit"命令可用於popuar Java Secure Channel (JSCH)當然環境參數應在集羣已經

2017-04-26 12:38:38 FaigB

回答