添加JAR以在spark中使用sql UDF

Question

我想使用在libaray中定義的自定義UDF。我用下面的代碼爲：

％spark2 進口org.apache.spark.sql.functions.year

VAL sqlContext =新org.apache.spark.sql.hive.HiveContext（SC）

sqlContext.sql（S 「ADD JAR /usr/hdp/current/spark-client/lib/myLib.jar」）

VAL DF = sqlContext.sql（「選擇parse_datetime（start_timestamp， 'CET' ，'yyyyMMddHHmmssSSS'）AS TIMESTAMP）from temp）

上述代碼抱怨缺少函數「parse_datetime」，顯然ADD JAR語句不添加myLib。是否有語法問題或缺少什麼。我正在齊柏林飛艇上運行。

我也複製了$ SPARK_HOME/lib文件夾中的myLib.jar，但沒有用。

Answer 1

我找到了解決方案。我在spark intertreper的dependencies部分給出了myLib.jar的確切路徑。它現在有效。