2017-03-06 93 views
0

將以下數據視爲數據框。如果我確實計算了數據幀,那麼它會給出6。我只想在東列不爲空的地方對行進行計數?Spark DataFrame:只有在至少一列不爲空的情況下計數行纔有效?

Country  id  salary 
Australia 64654 NULL 
NULL  NULL  NULL 
Italy  23694 28 
England  45585 32 
NULL  NULL  NULL 
Japan  NULL  10 
+0

實際上,列不固定,數據幀可有120列左右。我在那裏提到了更好理解的列 –

+1

嘿,所有,我已經使用'na'函數解決它。謝謝! –

回答

0

如何:df.filter($"Country".isNotNull || $"id".isNotNull || $"salary".isNotNull).count()

+0

實際上,列不固定,數據框可能有大約120列。我提到了更好理解的專欄 –

0

使用像下面將給出結果: -

select count(*) from 
(select COALESCE(*) as x from table_name) tmp 
where x is not null 
相關問題