Spark SQL不支持的數據類型時間戳類型

Question

我只是新的spark和scala.Trying讀取文本文件並保存其鑲木地板文件。對我來說，我使用的一個領域是TimeStamp，它的文檔說spark1.1.0支持java.util.TimeStamp。

同時節約了有木文件我得到的運行時錯誤是

異常在線程「主」了java.lang.RuntimeException：在scala.sys.package $ .error不支持的數據類型TimestampType（package.scala： 27）at org.apache.spark.sql.parquet.ParquetTypesConverter $$ anonfun $ fromDataType $ 2.apply（ParquetTypes.scala：301）

任何建議都是非常可觀的。

感謝

Answer 1

這實際上是版本的一個已知的bug之前1.3.0：https://issues.apache.org/jira/browse/SPARK-4987

pull請求已經被合併：https://github.com/apache/spark/pull/3820但1.3.0在釋放之前將無法使用。

如果您急於開發，您可以在本地構建1.3.0的主分支，否則您可能不得不等待，但希望是因爲Spark 1.3.0的RC2開始被選爲最終版本昨天，如果候選版本一切正常，事情可能會很快。

Regards，