2016-06-08 37 views
1

當iam嘗試運行spark(java)代碼時,iam得到類似 的錯誤「org.apache.spark.SparkException:Kryo序列化失敗:緩衝區溢出,可用:0,要求:27「。 在很多文章中他們提到像設置緩衝區爲最大值。當我嘗試這一個,最大緩衝值至512MB,現在IAM越來越錯誤,如「拋出java.lang.ClassNotFoundException:org.apache.spark.serializer.KryoSerializer.buffer.max」,‘512’」。 所以請幫我在這regard.how我能解決問題org.apache.spark.SparkException:Kryo序列化失敗:緩衝區溢出 - 使用java的火花

+0

在執行spark-submit時,使用--conf「spark.kryoserializer.buffer.max = 512m」 – axiom

回答

0

嘗試使用「spark.kryoserializer.buffer.max.mb」,「512」,而不是spark.kryoserializer.buffer.max」,‘512MB’