2016-09-21 159 views
1

我使用livy將Spark用作服務。我的應用程序將一些命令作爲代碼發送給livy,但是,spark需要初始化一些變量(讀取一些文件,製作一些減少操作的地圖等),這需要時間。這個初始化部分對所有會話都是通用的。施工結束後,可能會向這些會議發送不同的陳述。在Livy上創建另一個副本作爲副本

我在想什麼,當livy創建一個會話,是否有可能複製舊的會話線的圖像或應該從頭開始一切?

預先感謝您。

回答

1

經過一番研究,Livy服務器無法實現。 Livy唯一的責任是爲Hadoop集羣中的Spark框架提供其他服務。對於每個請求(無論是批處理還是會話),都會打開一個單獨的火花外殼。因此,克隆現有會話是不可能的。

另外還有一點,我真的不喜歡livy服務器處理外部依賴的方式。生成一個胖罐子不適合hadoop環境,因爲它們中有很多。但是,如果使用命令行參數實現Spark應用程序,則可以通過HTTP以交互方式與Hadoop環境進行通信。