火花提交抱怨斯卡拉 - 2.10罐子不存在

我新的火花和阿帕奇（火花2.1.0彬hadoop2.7）下載預編譯的二進制文件星火火花提交抱怨斯卡拉 - 2.10罐子不存在

當提交我的斯卡拉（2.11.8）尤伯杯罐子集羣拋錯：使用Scala 2.10

java.lang.IllegalStateException: Library directory '/root/spark/assembly/target/scala-2.10/jars' does not exist; make sure Spark is built

我沒有運行的Scala 2.10和星火未編譯（就像我知道的）

難道我的依賴之一是基於Scala 2.10嗎？
有什麼建議可能是錯的？

來源

2017-07-25 Y. Eliash

你能分享你正在打包在尤伯杯罐子依賴的名單？ – himanshuIIITian

@himanshuIIITian '「org.scalatest」%%「scalatest」％「3.0.1」，「org.scalaj」%%「scalaj-http」％「2.3.0」，「org.apache.spark」 %%「spark-core」％「2.2.0」％「provided」，「org.apache.spark」%%「spark-sql」％「2.2.0」％「provided」，「org.apache。 spark「%%」spark-yarn「％」2.2.0「，」org.apache.hadoop「％」hadoop-client「％」2.8.1「，」org.apache.hadoop「％」hadoop-yarn -client「％」2.8.1「，」org.apache.hive「％」hive-jdbc「％」2.3.0「' –

注意確定預構建的spark-2.1.0有什麼問題，但是我剛剛下載了spark 2.2.0，它工作得很好。

來源

2017-07-25 10:21:10

嘗試的系統或IDE上設置SPARK_HOME =「位置到火花安裝」

來源

2017-07-25 10:58:11 wbmrcb

火花提交抱怨斯卡拉 - 2.10罐子不存在

回答

相關問題