2017-11-10 40 views
-1

我完全新的Web服務的獨立,我想創建它是這樣一個Web服務:創建點播阿帕奇星火網絡服務

用戶輸入一些字到網頁。 Apache Spark作業在後端啓動,它將這些詞作爲輸入參數使用 該作業的結果將被處理並顯示回網頁。 我想讓它成爲一個獨立的產品,而不使用任何Spark-as-a-service服務,例如Bluemix等

現在,我正在考慮採用類似這樣的方式:後端的Python服務器接受請求並輸入新的Spark作業。當spark工作完成時,Python服務處理輸出並將其發送回頁面。

我不知道這是否是最好的方式去做這件事。另外,我不確定如何在網頁中實時顯示Spark作業的進度。

+0

你想處理多少數據? –

回答

1

apache livy項目可能適合您的需求。

https://livy.incubator.apache.org/

李維使提交經由REST接口或一個RPC客戶機庫中使用同步和異步結果火花。

希望得到這個幫助!

相關問題