過濾火花/斯卡拉據幀，如果列存在於集

Question

我使用星火1.4.0，這是我到目前爲止有：

data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...)) 

功能lit轉換文字到列。

理想的情況下，我就放不下A，B，C的設定和確認這樣的：

val validValues = Set("A", "B", "C", ...) 
data.filter($"myColumn".in(validValues)) 

什麼是正確的語法？是否有任何替代方案簡潔？

Answer 1

火花1.4或以上：

val validValues = Set("A", "B", "C").map(lit(_)) 
data.filter($"myColumn".in(validValues.toSeq: _*)) 

火花1.5或更新：

val validValues = Set("A", "B", "C") 
data.filter($"myColumn".isin(validValues.toSeq: _*))