2017-06-03 45 views
0

在閱讀關於the differences between mesos and kuberneteskubernetes-vs.-mesos-vs.-swarm的討論後,我仍然對如何通過一些熊貓主機和AWS(如私有云)(OpenNebular)創建帶Docker容器的Spark和TensorFlow集羣感到困惑。如何基於帶有mesos或kubernetes的容器創建Spark或TensorFlow羣集?

目前,我能夠構建一個靜態TensorFlow集羣,其中的docker容器手動分配給不同的主機。我只在熊的金屬主機上運行一個獨立的火花。手動設置容器的mesos羣集的方式可以在here找到。

由於我的資源有限,我想找到一種方法將docker容器部署到當前的混合基礎架構中,以構建tensorflow或spark集羣,以便我可以使用張量流或火花進行數據分析資源。

是否有可能在具有mesos或kubernetes的混合基礎架構上使用Docker容器快速創建/運行/取消部署spark或tensorflow集羣?我怎樣才能做到這一點?

歡迎任何評論和提示。

回答

1

給你的資源有限,我建議你看一下使用Spark掌舵,它給你:暴露於外部負載平衡器端口8080

  • 1個星火主
  • 3與Horizo​​ntalPodAutoscaler X火花工人擴展到最大10個吊艙當CPU擊中百米
  • 1×飛艇的50%,暴露在外部負載平衡器端口8080

如果此配置不起作用,那麼您可以構建自己的碼頭圖像並部署這些圖像,請參閱this blog series。目前正在進行的工作使Spark更多Kubernetes friendly。這issue也給出了一些見解。

沒有看着Tensorflow,我建議你look at this blog

相關問題