2017-05-09 62 views
0

所以我工作的Apache的星火,因爲我想用星火2.1.0使用Scala 2.10.6我使用下面的命令來構建火花發現Here只建火花的核心文件

./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests clean package 

我正在爲我的項目對火花核心文件(主要是SparkContext.scala)進行一些更改。每次我做出一些改變,我都必須使用上面給出的命令來重建火花,這需要相當長的時間。即使添加一個簡單的打印,我必須重新構建它。雖然這樣做似乎工作作爲我的變化是顯而易見的,當我使用命令來運行我的火花應用

spark-submit --master local[*] --driver-memory 256g --class main.scala.TestMain target/scala-2.10/spark_proj-assembly-1.0.jar 

現在的聯繫稱火花讓您建立模塊,以及我在網上找到下面的命令來構建火花核心只,

/build/mvn -pl core clean package -DskipTests -Dscala-2.1 

而且似乎火花工作編譯內核,並顯示了我的錯誤,如果我有什麼,但是當我跑我的應用程序,我沒有看到在運行時的變化,我已經不顯示任何打印或我所申請的任何操作都不存在。就像我的程序在構建核心文件之前仍然使用spark的版本。雖然建立整個火花似乎工作。

有人可以在這裏幫助我,因爲在哪裏錯了,爲什麼只有建立核心不能正常工作,或者我使用錯誤的命令,如果有的話,可以有人告訴我如何只建立核心文件

回答

1

./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests clean package

每當我做出一些改變我在使用上面給出的 命令,這需要如果僅是大量的時間

重建火花進行增量更改,在第一次構建之後省略「乾淨」階段。包括它會導致Maven來重建整個代碼庫,而如果你不

./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests package 

然後Maven會只重新編譯和重新包裝的更新文件。