使用Livy上傳Python腳本

Question

我試圖找到一種方法來在火花服務器上使用Livy API (or client)來推送python腳本。我已經嘗試了以下。

1. 捲曲-X POST --data '{ 「文件」： 「/user/test/pi.py」}' -H 「內容類型：應用/ JSON」 本地主機：8998 /批次

，但是當我看到 它給沒有發現，因爲它試圖找到 服務器上的路徑文件的日誌。

1. 使用Livy Python Client。

R = client.upload_pyfile（ 「/ TMP /代碼/ test.py」）

，這將返回一個未來 對象，但不創建批次，（我甚至不知道它正在上傳到的 文件路徑）。

基本上我想要的是 -

1. 能夠通過API來上傳文件，使用李維星火服務器 上。

2. 提交批處理/運行觸發器。使用Livy。

Answer 1

使用Livy JAVA客戶端我能夠做同樣的事情。我已經將jar上傳到Livy Server並提交了Spark JOBS。

您可以參考下面的鏈接。 https://livy.incubator.apache.org/docs/latest/programmatic-api.html

注意事項： 1.等待livy客戶端成功上傳jar /文件。 2.該jar /文件應該可用於livy服務器或可供livy服務器訪問的HDFS。