在Spark SQL DataFrame中調用UDF方法中的其他方法/變量

Question

我有一個Spark SQL DF，其中我嘗試調用一個UDF [我使用Spark SQL創建的udf。

val udfName = udf(somemethodName) 
val newDF = df.withColumn("columnnew", udfName(col("anotherDFColumn")) 

我試圖使用存儲爲val的somemethodName內的另一個DF，但DF即將爲空。

只有當我使用newDF中的where子句時纔會發生這種情況。

我錯過了什麼嗎？UDF方法中不可能使用其他變量/方法嗎？

或者我必須做廣播嗎？目前我正在本地運行，而不是在羣集中運行。

Answer 1

是沒可能使用另一個變量/方法UDF方法內

這是可能當且僅當該變量/方法可以系列化 - 一個UDF是一個閉包必須被序列化並分發給執行者。

一個數據幀不能被序列化（這是一個指向其它分佈式數據，所以有連載它沒有收集成駕駛員記憶功能不符合邏輯的方式），當您嘗試使用UDF因此出現null。

您可能需要join某些關鍵字上的兩個數據框，然後使用UDF（或標準轉換），該UDF從連接的Dataframe中獲取列。