星火和Java：錯誤ClassCastException異常

我下面正是這個例子 https://github.com/rathboma/hadoop-framework-examples/tree/master/spark 當我嘗試運行，我得到這個消息：星火和Java：錯誤ClassCastException異常

java.lang.ClassCastException: org.apache.spark.api.java.Optional cannot be cast to com.google.common.base.Optional

我不我怎樣才能解決這個問題，因爲我用我的新手火花。謝謝！有什麼建議嗎？

來源

2017-06-01 majitux

看起來像您導入了錯誤的可選類 –

這是因爲您使用Spark 1.x來編譯代碼，但在Spark 2.x羣集中運行您的應用程序。您可以更新pom.xml以使用Spark羣集的相同版本，並且可能還需要更新代碼，因爲2.x和1.x不兼容。

來源

2017-06-01 22:10:44 zsxwing

您如何知道羣集版本？ –

我已經使用此文件spark-2.1.1-bin-without-hadoop.tgz安裝了Spark 2.1.1，然後，我已將Spark與Hadoop安裝連接，並在/ usr/local/spark中設置spark-env.sh文件/ conf（我遵循這個：https://spark.apache.org/docs/latest/hadoop-provided.html）。我可以在pom.xml中更改這部分嗎？ org.apache.spark 火花core_2.10 2.1.1它可能是工作？ – majitux

@ cricket_007打印'SparkContext.version' – zsxwing

星火和Java：錯誤ClassCastException異常

回答

相關問題