如何使用排除列表（類似於isin）過濾掉RDD中的元素？

Question

我正在嘗試使用類似於Dataframe中的isin的列表中的元素來過濾arraybuffer。

val booksDF: DataFrame = ... 
val Books_Category = List("A","B","C") 
val action_books = booksDF.filter($"bk_category_cd" isin (Books_Category: _*)) 

我如何申請使用上RDD收集同一過濾器？

Answer 1

在RDD中，您可以使用contains方法列表中的filter列出。

假設你有dataframe喜歡

+-----+ 
|books| 
+-----+ 
|A | 
|D | 
|B | 
+-----+ 

和列表作爲

val Books_Category = List("A","B","C") 

可以在rdd使用contains作爲

val filteredRDD = df.rdd.filter(x=>Books_Category.contains(x(0))) 
filteredRDD.foreach(println) 

這將導致

[A] 
[B] 

做同樣的RDD本身也同樣

假設我們有RDD和list到filter作爲

val rdd = sc.parallelize(Seq("A", "D", "B", "E", "F")) 
val list = List("A","B","C") 

然後做像我們上面

val filteredRDD = rdd.filter(x => list.contains(x)) 
filteredRDD.foreach(println) 

做將導致

A 
B