所以我工作的Apache的星火,因爲我想用星火2.1.0使用Scala 2.10.6我使用下面的命令來構建火花發現Here只建火花的核心文件
./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests clean package
我正在爲我的項目對火花核心文件(主要是SparkContext.scala)進行一些更改。每次我做出一些改變,我都必須使用上面給出的命令來重建火花,這需要相當長的時間。即使添加一個簡單的打印,我必須重新構建它。雖然這樣做似乎工作作爲我的變化是顯而易見的,當我使用命令來運行我的火花應用
spark-submit --master local[*] --driver-memory 256g --class main.scala.TestMain target/scala-2.10/spark_proj-assembly-1.0.jar
現在的聯繫稱火花讓您建立模塊,以及我在網上找到下面的命令來構建火花核心只,
/build/mvn -pl core clean package -DskipTests -Dscala-2.1
而且似乎火花工作編譯內核,並顯示了我的錯誤,如果我有什麼,但是當我跑我的應用程序,我沒有看到在運行時的變化,我已經不顯示任何打印或我所申請的任何操作都不存在。就像我的程序在構建核心文件之前仍然使用spark的版本。雖然建立整個火花似乎工作。
有人可以在這裏幫助我,因爲在哪裏錯了,爲什麼只有建立核心不能正常工作,或者我使用錯誤的命令,如果有的話,可以有人告訴我如何只建立核心文件