Spark Dataframe連接 - 選擇僅出現在第一個數據幀中的數據

Question

我有兩個數據幀DF1和DF2。我的任務是選擇存在的數據僅在DF1中，但不在DF2中。請有任何幫助。 我正在使用Spark 1.6 shell。

Answer 1

您可以使用此。假設你的記錄由公共列id鑑定：

val dfResult = df1.join(df2, Seq("id"), "leftanti") 

Answer 2

如何.. dataframe1.as("d1").join(dataframe2.as("d2"), $"d1.col1" === $"d2.col1").select($"d1.*")其中col1是加入的列。這兩個dataframes需要具有相同的結構（同列）

在星火2.0，你可以做ANTI JOIN

val dfResult = df1.except(df2) 

注：