從運行在Mesos上的應用程序中的Spark提交DCOS羣集

Question

我有一個運行在AWS上的Mesos DCOS羣集，通過dcos package install spark命令安裝了Spark。我能夠使用DCOS CLI成功執行Spark作業：dcos spark run ...

現在我想從運行在Mesos羣集中的Docker容器執行Spark作業，但我不太清楚如何到達正在運行的實例火花。這個想法是讓Docker容器執行​​命令將作業提交給Spark部署而不是從DCOS CLI集羣外部執行相同的作業。

當前的文檔似乎只關注通過DCOS CLI運行Spark - 有沒有辦法通過集羣內運行的另一個應用程序來實現Spark部署？

Answer 1

DCOS IOT演示嘗試類似的東西。 https://github.com/amollenkopf/dcos-iot-demo

這傢伙在馬拉松應用程序中運行spark spark docker和spark-submit。檢查馬拉松描述符：https://github.com/amollenkopf/dcos-iot-demo/blob/master/spatiotemporal-esri-analytics/rat01.json