如何在不使用spark-submit的情況下將java程序內的spark工作提交給standalone spark cluster？

Question

我使用火花來執行一些計算，但希望它從Java應用程序提交。它使用時提交使用火花提交腳本正確使用。有沒有人試圖做到這一點？

謝謝。

Answer 1

不要忘記將含有代碼的胖JAR添加到上下文中。

val conf = new SparkConf() 
    .setMaster(...) 
    .setAppName(...) 
    .setJars("/path/to/code.jar") 
val sc = new SparkContext(conf) 

Answer 2

只要你有一個主機和可用的工作開始了，你應該可以，如果你在你的Java應用程序如下：

String master = "spark://IP:7077"; //set IP address to that of your master 
String appName = "Name of your Application Here"; 
SparkConf conf = new SparkConf().setAppName(appName).setMaster(master);; 
JavaSparkContext sc = new JavaSparkContext(conf); 

我能夠從內部的IntelliJ是用來運行JUnit測試JavaSparkContext而不必使用spark-submit腳本。雖然我在DataFrame上執行操作時遇到了問題（不確定是否與此相關）。