SparkSQL數據框中的兩列如何合併？

Question

我有一個Spark SQL數據框，看起來像這樣：

df.select("FirstName","F_Name","Dept").show() 

FirstName|F_Name|Dept 
--------------------- 
Alfred |null |c1 
null  |Jarvis|c2 
Jeeves |null |c1 

我希望能夠凝聚名字和F_Name，這樣我可以有一個表，看起來像這樣：

Name |Dept 
----------- 
Alfred|c1 
Jarvis|c2 
Jeeves|c1 

我嘗試使用coalesce本身，但沒有工作：

df.select("coalesec(FirstName,F_Name) as Name","Dept").show() 

要麼這樣做PySpark或斯卡拉的方式將大大幫助。

謝謝你一堆。

Answer 1

的coalesce功能正是你所期待的

df.select(coalesce(df.col("FirstName"),df.col("F_Name")).alias("Name"), df.col("Dept")).show()