火花df.write報價的所有字段不爲空值

Question

我試圖創建存儲在表中值的CSV：

| col1 | col2 | col3 | 
| "one" | null | "one" | 
| "two" | "two" | "two" | 

hive > select * from table where col2 is null; 
one null one 

我使用下面的代碼獲取CSV：

df.repartition(1) 
    .write.option("header",true) 
    .option("delimiter", ",") 
    .option("quoteAll", true) 
    .option("nullValue", "") 
    .csv(S3Destination) 

的CSV我得到：

"col1","col2","col3" 
"one","","one" 
"two","two","two" 

預期的CSV：對於空值

NO雙引號

"col1","col2","col3" 
"one",,"one" 
"two","two","two" 

任何幫助表示讚賞知道如果數據幀寫入器有選項來做到這一點。

Answer 1

你可以在一個UDF方法，並應用在列（上面的重新劃分datafrmae使用withColumn），其中雙引號空字符串的一種可能是有見下面的示例代碼

sqlContext.udf().register("convertToEmptyWithOutQuotes",(String abc) -> (abc.trim().length() > 0 ? abc : abc.replace("\"", " ")),DataTypes.StringType); 

String有replace做這項工作的方法。

val a = Array("'x'","","z") 
println(a.mkString(",").replace("\"", " ")) 

會產生'x',,z