Spark - 具有多種條件的數據幀

Question

var rtn = df.select(
       col(colmap.get("AAAAA")) as "AAAAA", 
       lit(colmap.get("BBBBB")) as "BBBBB", 
       col(colmap.get("CCCCC")) as "CCCCC", 
       col(colmap.get("DDDDD")) as "DDDDD" 
      ) 
      .where(col("AAAAA").isNotNull && col("BBBBB").isNotNull && col("CCCCC").isNotNull && col("DDDDD").isNotNull) 

      rtn.show() 

返回數據幀仍有一些空值。我做錯了嗎？

---

電流輸出

+--------+-----------+----------- 
|AAAAA|BBBBB|CCCCC|DDDDD|EEEEE| 
+--------+-----------+----------- 
|A11111|B12345|C1111|D11111|  | 
|A22222|B12345|C2222|D22222|  | 
|A33333|B12345|C3333|D33333|E11111| 
|A44444|B12345|C4444|D44444|  | 
|A55555|B12345|C5555|D55555|E11111| 

我的預期輸出

+--------+-----------+----------- 
|AAAAA|BBBBB|CCCCC|DDDDD|EEEEE| 
+--------+-----------+----------- 
|A11111|B12345|C1111|D11111|E11111| 
|A22222|B12345|C2222|D22222|E11111| 
|A33333|B12345|C3333|D33333|E11111| 
|A44444|B12345|C4444|D44444|E11111| 
|A55555|B12345|C5555|D55555|E11111| 

還有上EEEEE列一些空值。 DataFrame的條件似乎不正常工作。

Answer 1

它看起來像你的數據包含空白字符串不是NULLs。要篩選空白字符串，你可以使用rlike：

import org.apache.spark.sql.functions.not 

not($"foo".rlike("^\\s*$"))) // or !$"foo".rlike("^\\s*$") 

或trim和length：

import org.apache.spark.sql.functions.{trim, length} 

length(trim($"foo")) =!= 0 

作爲一個側面說明，您可以使用DataFrameNaFunctions.drop與列的順序丟棄含有NULL行：

df.na.drop(Seq("foo", "bar")) 

or

df.na.drop() 

如果要刪除包含行的所有NULL。