spark - 如何添加字段名稱，何時spark會讀取csv，其中無頭

Question

我想在spark中讀取CSV。所以我在java中使用這個命令。

result = sparkSession.read().csv("hdfs://master:9000/1.csv"); 

它works.Buts結果卻喜歡：

_c0 _c1 _c2 
1  egg T 
2  bob F 
3  tom D 

但文件（1.csv）沒有頭，該result'head沒用

我想結果是這樣的：

ID Name Class 
1  egg T 
2  bob F 
3  tom D 

我該怎麼辦？

謝謝大家。

Answer 1

您可以使用toDF()方法重命名所有列：https://spark.apache.org/docs/2.0.2/api/java/org/apache/spark/sql/Dataset.html#toDF(java.lang.String...)

例如：

result = sparkSession.read().csv("hdfs://master:9000/1.csv").toDF("ID", "Name", "Class") 

Answer 2

可以重命名列：

result.withColumnRenamed("_c0", "id").withColumnRenamed("_c1", "name").withColumnRenamed("_c2", "class") 

當然

，如果CSV有一個頭，你可以簡單地做：

result = sparkSession.read().option("header", "true").csv("hdfs://master:9000/1.csv");