按列存在的scala過濾器

我在許多文件中有許多json字符串行，它們在模式中非常相似，但在某些情況下有一些不同。按列存在的scala過濾器

，我從他們數據幀，並希望只看到它有像

DF.filter("myColumn" is present).show

我怎樣才能做到這一點的特定列行？

2017-02-24 Daebarkee

謝謝@mrsrinivas使用isNotNull。它運作良好！請將答案添加到答案框中，以便我可以對其進行檢查。 :) – Daebarkee

可以在filter()

import org.apache.spark.sql.functions.isNotNull 

df.filter($"myColumn".isNotNull)

2017-02-26 01:41:33 mrsrinivas

回答