在Mac上運行Scala Spark應用程序

我已經使用Homebrew安裝了Spark和Scala。我可以運行Spark-shell。我還通過將其放置在usr/local/share（不確定這是否是正確的方式）並在其中放置符號鏈接來安裝Spark-IDE。現在我想運行Eclipse中用Scala編寫的Spark應用程序;我怎麼做？在Mac上運行Scala Spark應用程序

來源

2016-10-04 ogogmad

的常用方法如何創建和運行Apache星火任務是：

1，創建包 - 通常jar文件 - 你可以使用Maven例如打包。

2，火花提交啓動和提交作業

有幾種方法如何（或正確的地方）應該將火花作業運行 - 它通常由主定義
所以，當你有罐子包你的工作，你可以去火花文件夾/ bin中 - 有

./bin/spark-submit --class MainClass.class --master local[2] <application-jar>，其中

<application-jar>是您的火花的工作包的jar文件

MainClass.class入口點作業

master - 阿帕奇火花的作業通常會提交給集羣，但是出於測試目的，你可以使用本地爲主。這裏的數字定義了作業執行的線程數。

如果你想啓動火花應用程序內蝕（例如作爲測試），您只需編程創建SparkContext - 設定當地的用SparkConf和運行的主（我覺得火花需要HADOOP_HOME環境變量 - 在這種情況下，只需下載hadoop並設置爲$HADOOP_HOME）

來源

2016-10-04 12:21:48 VladoDemcak

如何讓Eclipse看到Spark庫？如何將Spark庫導入到應用程序中？ – ogogmad

@jkabrg Eclipse只是IDE，它取決於你如何將你的依賴包含在項目中 - 例如。你可以使用maven或一些類似的工具。 – VladoDemcak

我想對第1步感興趣。 – ogogmad

在Mac上運行Scala Spark應用程序

回答

相關問題