如何將數據從數據框導出到文件數據塊

Question

我現在正在做EdX的Spark課程簡介。 是否有可能在我的電腦上保存來自Databricks的數據框。

我問這個問題，因爲這個課程提供Databricks筆記本這可能不會在課程結束後的工作。

在筆記本數據導入使用命令：

log_file_path = 'DBFS：/' + os.path.join（ 'databricks-數據集'， 'CS100'， '實驗2'，「數據-001' ， 'apache.access.log.PROJECT'）

，我發現這個解決方案，但它不工作：

df.select（ '年'， '模式'）。 write.format（'com.databricks.spark.csv'）。save（'newcars.csv'）

Answer 1

試試這個。

df.write.format("com.databricks.spark.csv").save("file:///home/yphani/datacsv") 

這會將文件保存到Unix服務器中。

如果你只/家/ yphani/datacsv它看起來對HDFS的路徑。

Answer 2

Databricks運行雲虛擬機並不知道您的本地計算機所在的位置。如果您想保存DataFrame的CSV結果，則可以運行display(df)，並且可以選擇下載結果。