如何寫入拼接Spark數據框？

Question

我有一個火花的應用程序，但是當我嘗試寫數據框，以實木複合地板的文件夾創建成功，但有文件夾內沒有數據只是被稱爲「_SUCCESS」

以下文件是我的代碼：

def writeToParquet(dataFrame: DataFrame, path: String): Unit = { 
    dataFrame.write.parquet(s"$path.parquet") 
} 

Answer 1

嘗試這樣做：

假設「df」是數據框的名稱，「tab1」是要存儲的表的名稱。

df.write.mode(SaveMode.Overwrite).format("parquet").saveAsTable("tab1") 

注：saveAsTable方法保存在您的配置蜂巢metastore的數據表，如果這就是你的目標是什麼了。讓我知道這是否有幫助。