火花堆大小錯誤，即使RAM爲32 GB和JAVA_OPTIONS = -Xmx8g

-1

我有32 GB的物理memoryand我輸入文件大小約爲30 MB，我嘗試使用下面的命令火花堆大小錯誤，即使RAM爲32 GB和JAVA_OPTIONS = -Xmx8g

提交我的火花的工作紗線客戶端模式

spark-submit --master yarn --packages com.databricks:spark-xml_2.10:0.4.1 --driver-memory 8g ericsson_xml_parsing_version_6_stage1.py

和我的執行者空間是8g，但得到下面的錯誤任何人請幫我配置java堆內存。我使用命令行了解了--driver-java選項，但我不知道如何使用此選項設置java堆空間。

任何人都請幫助我。

java.lang.OutOfMemoryError: Java heap space

enter image description here

來源

2017-03-07 Jayabal

這可能會幫助你http://stackoverflow.com/questions/21138751/spark-java-lang-outofmemoryerror-java-heap-space – BruceWayne

你嘗試配置執行的內存呢？像這樣：「--executor-memory 8g」

來源

2017-03-07 08:16:34 Hlib

是的，我已經使用下面也是，但同樣的錯誤存在。 spark-submit --master yarn --packages com.databricks：spark-xml_2.10：0.4.1 --driver-memory 8g --executor -memory 8gericsson_xml_parsing_version_6_stage1.py – Jayabal

可能確實沒有足夠的空間。輸入文件大小30MB並不能保證RDD不會佔用1000倍以上的空間。 – Hlib

我不知道如何解決此問題，請給出解決方法。 – Jayabal

火花堆大小錯誤，即使RAM爲32 GB和JAVA_OPTIONS = -Xmx8g

回答

相關問題