Spark 2.2 commons-lang3

Question

我正在使用Spark 2.2快照（它包含我需要的修復程序）。我可以通過啓動「本地」火花來運行我的應用程序，一切都很好。當我運行使用作業火花提交我得到以下錯誤：

17/04/19 13:25:42 WARN TaskSetManager: Lost task 0.0 in stage 1.0 (TID 1, 192.168.13.231, executor 0): java.io.InvalidClassException: 
org.apache.commons.lang3.time.FastDateParser; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID = 3 

有一些職位在那裏與此相關的問題，這些建議不兼容產生從classpath中的舊版本的commons-lang3的。但是我已經明確地設置了commons-lang3（3.5）的版本，驗證應用程序僅依賴於3.5（使用sbt-dependency-graph），甚至從生成的jar中刪除所有commons-lang3文件。這些都沒有解決這個問題。

任何幫助在這裏大大讚賞 - 如果它不在提交的jar文件中，那麼火花會在哪裏拾取較舊的依賴項？我是否完全誤解了錯誤信息？

感謝

Answer 1

以防萬一，這可以幫助任何人 - 罐子衝突是從已被添加到火花alluxio客戶的到來。儘管我還沒有嘗試過，但我認爲使用spark版本來平衡這個版本會在這裏實現。