如果兩個列值在另一個數據框中，如何在pyspark中添加列？

Question

我對pyspark很陌生。我有兩個dataframes這樣的：

DF1： enter image description here

DF2：在DF1 enter image description here

label列起初不存在。我稍後添加它。如果[user_id, sku_id]對df1在df2中，那麼我想在df1中添加一列並將其設置爲1，否則爲0，就像df1所示。我怎樣才能在pyspark做到這一點？我使用py2.7。

Answer 1

它可能通過先在兩個數據幀上執行左外連接，然後在右數據幀的一列上使用when和otherwise函數。這裏是我試圖完整的解決方案 -

from pyspark.sql import functions as F 
from pyspark.sql.functions import col 

# this is just data input 
data1 = [[4,3,3],[2,4,3],[4,2,4],[4,3,3]] 
data2 = [[4,3,3],[2,3,3],[4,1,4]] 

# create dataframes 
df1 = spark.createDataFrame(data1,schema=['userId','sku_id','type']) 
df2 = spark.createDataFrame(data2,schema=['userId','sku_id','type']) 

# condition for join 
cond=[df1.userId==df2.userId,df1.sku_id==df2.sku_id,df1.type==df2.type] 

# magic 
df1.join(df2,cond,how='left_outer')\ 
    .select(df1.userId,df1.sku_id,df1.type,df2.userId.alias('uid'))\ 
    .withColumn('label',F.when(col('uid')>0 ,1).otherwise(0))\ 
    .drop(col('uid'))\ 
    .show() 

輸出：

+------+------+----+-----+ 
|userId|sku_id|type|label| 
+------+------+----+-----+ 
|  2|  4| 3| 0| 
|  4|  3| 3| 1| 
|  4|  3| 3| 1| 
|  4|  2| 4| 0| 
+------+------+----+-----+