如何檢查實例是否位於Pyspark的數據框中？

Question

我有一個實例從數據框df1中提取，我想檢查該實例是否在Pyspark的另一個數據框df2中。有辦法面對嗎？

例如：

實例：

+------+------+------+ 
| Atr1 | Atr2 | Atr3 | 
+------+------+------+ 
| 'A' | 2 | 'B' | 
+------+------+------+ 

數據框：

+------+------+------+ 
| Atr1 | Atr2 | Atr3 | 
+------+------+------+ 
| 'C' | 1 | 'B' | 
+------+------+------+ 
| 'D' | 2 | 'A' | 
+------+------+------+ 
| 'E' | 2 | 'C' | 
+------+------+------+ 
| 'A' | 2 | 'B' | 
+------+------+------+ 

這樣，我想是因爲實例數據幀（第4行），以獲得正確的。

謝謝。

Answer 1

Pyspark不這樣做正確的語言，但仍：

首先，讓我們創建dataframes：

df1 = spark.createDataFrame(sc.parallelize([['A', 2, 'B']]), ['Atr1', 'Atr2', 'Atr3']) 
df2 = spark.createDataFrame(sc.parallelize([['C',1,'B'],['D',2,'A'],['E',2,'C'],['A',2,'B']]), ['Atr1', 'Atr2', 'Atr3']) 

你可以使用：

• subtract

  df1.subtract(df2).count() == 0 
  

• 一個join

  df2.join(df1, ['Atr1', 'Atr2', 'Atr3']).count() > 0 
  

• 一個filter

  df2.filter((df2.Atr1 == 'A') & (df2.Atr2 == 2) & (df2.Atr3 == 'B')).count() > 0 
  

希望這有助於！

Answer 2

您可以採取的df1和df2交集和比較，如果的df1計數等於交集，如下所示：

>>> df1 = spark.createDataFrame(sc.parallelize([['A', 2, 'B']]), ['Atr1', 'Atr2', 'Atr3']) 
>>> df2 = spark.createDataFrame(sc.parallelize([['C',1,'B'],['D',2,'A'],['E',2,'C'],['A',2,'B']]), ['Atr1', 'Atr2', 'Atr3']) 
>>> df1.show() 
+----+----+----+ 
|Atr1|Atr2|Atr3| 
+----+----+----+ 
| A| 2| B| 
+----+----+----+ 

>>> df2.show() 
+----+----+----+ 
|Atr1|Atr2|Atr3| 
+----+----+----+ 
| C| 1| B| 
| D| 2| A| 
| E| 2| C| 
| A| 2| B| 
+----+----+----+ 

>>> df2.intersect(df1).count() == df1.count() 
True 
>>> 

。有關pyspark.sql.DataFrame.intersect查看文檔here。