如何在很多領域加載大型csv到Spark

Question

新年快樂!!!

我知道這種類似的問題已經被問/回答過了，但是，我的是不同的：

我有大尺寸的CSV憑藉100場和100MB +，我想加載它星火（1.6）爲了分析，csv的標題看起來像附帶的sample（只有一行數據）

非常感謝。

UPDATE 1（2016.12.31.1:26pm EST）：

我使用下面的方法，並能夠加載數據（具有有限列樣本數據），但是，我需要自動分配頭（從csv）作爲DataFrame中的字段名稱，但是，DataFrame看起來像：

任何人都可以告訴我該怎麼做嗎？請注意，任何手動方式都是我想要避免的。

>>> import csv 
>>> rdd = sc.textFile('file:///root/Downloads/data/flight201601short.csv') 
>>> rdd = rdd.mapPartitions(lambda x: csv.reader(x)) 
>>> rdd.take(5) 
>>> df = rdd.toDF() 
>>> df.show(5) 

Answer 1

正如評論，你可以使用spark.read.csv火花指出2.0.0+（https://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html）

df = spark.read.csv('your_file.csv', header=True, inferSchema=True) 

設置頭到真將頭解析列數據幀的名稱。設置inferSchema到確實將獲得表格模式（但會降低讀數）。

也見這裏： Load CSV file with Spark