apache-spark-xml

3熱度

2回答

在Spark中讀取大文件時發生內存不足錯誤2.1.0

我想使用spark將大型（51GB）XML文件（在外部硬盤上）讀入數據幀（使用spark-xml plugin），執行簡單映射/過濾，重新排序它，然後將其作爲CSV文件寫回磁盤。但我總是得到一個java.lang.OutOfMemoryError: Java heap space無論我如何調整這一點。我想知道爲什麼不增加分區的數量停止OOM錯誤難道不應該分裂的任務分解成多個部分，使每個人的部

1熱度

1回答

將火花數據幀中每個分區的記錄寫入一個xml文件

我必須在火花數據框中的每個分區的文件中執行記錄計數，然後我必須將輸出寫入xml文件。這是我的數據框。 dfMainOutputFinalWithoutNull.coalesce(1).write.partitionBy("DataPartition","StatementTypeCode") .format("csv") .option("nullValue", "")

1熱度

1回答

爲什麼Spark-xml失敗，NoSuchMethodError與Spark 2.0.0依賴關係？

您好我是一個小白到斯卡拉和IntelliJ，我只是想這樣做的斯卡拉： import org.apache.spark import org.apache.spark.sql.SQLContext import com.databricks.spark.xml.XmlReader object SparkSample { def main(args: Array[String])