寫拼花到NFS

Question

我想通過命令寫在地板格式數據幀到NFS（網絡文件系統）：

df.write.mode('overwrite').parquet(OUTPUT_DIR) 

它正常工作與HDFS但NFS，只有_temporary被創建並沒有實際的實木複合地板文件被寫入。工作成功，沒有任何錯誤。 喬布斯writitn相同DF到HDFS和NFS，具有相同的日誌OutputCommitter：

FileOutputCommitter: Saved output of task 'attempt_XXXX_0002_m_000000_0' to path_to_DF/_temporary/0/task_XXXX_0002_m_000000 
SparkHadoopMapRedUtil: attempt_XXXX_0002_m_000000_0: Committed 
Executor: Finished task 0.0 in stage 2.0 (TID X). 2707 bytes result sent to driver 

感謝。

Answer 1

在將RDD/DF保存到NFS時使用「file：」。