2017-02-24 63 views
0

默認情況下,spark會將「org.apache.spark.sql.parquet.row.metadata」寫入parquet文件頁腳。但是,如果我想要將一些隨機元數據(如版本= 123)寫入由spark生成的parquet文件,該怎麼辦?如何在使用火花寫入實木複合地板文件時添加額外的元數據

這不起作用:

df.write().option("version","123").parquet("somefile.parquet"); 

而且我使用的火花1.6.2版

+0

http://stackoverflow.com/questions/32628845/is-there-a-way-to-add-extra-元數據火花數據框 這提供了你如何可能做到這一點,但沒有一個內置的方式(據我所知:() –

回答

相關問題