字符串上的過濾器火花DataFrame包含

Question

我正在使用Spark 1.3.0和Spark Avro 1.0.0。 我從the example on the repository page工作。這下面的代碼工作以及

val df = sqlContext.read.avro("src/test/resources/episodes.avro") 
df.filter("doctor > 5").write.avro("/tmp/output") 

但是，如果我需要看看是否doctor字符串包含一個子呢？由於我們在字符串內寫入我們的表達式。我該怎麼做一個「包含」？

Answer 1

您可以使用contains（這可與任意順序）：

df.filter($"foo".contains("bar")) 

like（SQL像SQL簡單的正則表達式蒙山_匹配任意字符和%匹配任意順序）：

df.filter($"foo".like("bar")) 

或rlike（像Java regular expressions）：

df.filter($"foo".rlike("bar")) 

根據您的要求。 LIKE和RLIKE也應該使用SQL表達式。