我有一個巨大的數據框（500萬行），每行是一籃子項目，我試圖獲得頻繁的項目集和關聯規則。但它給了我StackOverflowErrors，我試圖設置檢查點目錄，但它沒有解決問題。任何想法如何解決這個問題？非常感謝提前Pyspark - fpgrowth - 關聯規則 - StackOverflow錯誤
fpGrowth = FPGrowth(itemsCol="ARFeatures", minSupport=0.8, minConfidence=0.9)
model = fpGrowth.fit(completeDf)
java.lang.StackOverflowError的 在java.lang.reflect.InvocationTargetException。（InvocationTargetException.java:72） 在sun.reflect.GeneratedMethodAccessor14.invoke（來源不明） 在java.io.ObjectStreamClass.invokeWriteObject（ObjectStreamClass.java:1028） （sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43） at java.lang.reflect.Method.invoke（Method.java:498） 在java.io.ObjectOutputStream.writeSerialData（ObjectOutputStream.java:1496） 在java.io.ObjectOutputStream.writeOrdinaryObject（ObjectOutputStream.java:1432） at java.io.ObjectOutputStream.writeObject0（ObjectOutputStream.java:1178） at java.io.ObjectOutputStream.defaultWriteFields（ObjectOutputStream.java:1548） at java .io.ObjectOutputStream.writeSerialData（ObjectOutputStream.java:1509） at java.io.ObjectOutputStream.writeOrdinaryObject（ObjectOutputStream.java:1432） at java.io.ObjectOutputStream.writeObject0（ObjectOutputStream.java:1178） at java.io .ObjectOutputStream.writeObject（ObjectOutputStream.java:348） at scala.collection.mutable.HashMap $$ anonfun $ writeObject $ 1.apply（HashMap.scala：138） at scala.collection.mutable.HashMap $$ anonfun $ writeObject $ 1 .apply（HashMap.scala：136） at scala.collection.mutable.HashTable $ class.foreachEntry（HashTable.scala：230） at scala.collection.mutable.HashMap.foreachEntry（HashMap.scala：40） at scala.collection.mutable.HashTable $ class。在sun.reflect的scala.collection.mutable.HashMap.writeObject（HashMap.scala：136） 上， GeneratedMethodAccessor14.invoke在java.io.ObjectStreamClass.invokeWriteObject（來源不明） 在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43） 在java.lang.reflect.Method.invoke（Method.java:498） （ObjectStreamClass.java:1028） at java.io.ObjectOutputStream.writeSerialData（Objec tOutputStream.java:1496） 在java.io.ObjectOutputStream.writeOrdinaryObject（ObjectOutputStream.java:1432） 在java.io.ObjectOutputStream.writeObject0（ObjectOutputStream.java:1178） 在java.io.ObjectOutputStream.defaultWriteFields（ObjectOutputStream中。 （ObjectOutputStream.writevac：ObjectOutputStream.writevac：ObjectOutputStream.writevag：ObjectOutputStream.writevag（ObjectOutputStream.java:1509） ）在java.io.ObjectOutputStream.writeObject0（ObjectOutputStream.write： 1178） at java.io.ObjectOutputStream.writeObject（ObjectOutputStream.java:348） at scala.collection.mutable.HashMap $$ anonfun $ writeObject $ 1.apply（HashMap.scala：138）
我不知道FPGrowth的內部結構，但是您是否嘗試過增加堆棧大小？ （JVM選項-Xss） – Traian
這是火花提交的命令行參數之一嗎？ – soulless