是否有適用於多節點集羣部署的Apache Spark 2.0.0公共Docker映像？

尋找Apache Spark 2.0.0 Docker鏡像準備從任何公共倉庫中提取，支持集羣。是否有適用於多節點集羣部署的Apache Spark 2.0.0公共Docker映像？

2016-08-05 Santanu Dey

目前沒有這樣的圖像。在Docker中運行Spark是非常棘手的，因爲它的網絡行爲如下：

它會打開很多端口，有些是動態決定的（對於TorrentBroadcast）。
它想通告其主機名稱以便能夠接收來自執行者的傳入連接。

我找不到現成的圖像，我放棄瞭解決上述問題。我採用了在Docker中運行我的Spark應用程序的解決方法，使用主機網絡。

2016-08-05 12:51:36

我也結束了使用「主機」網絡，除了[我設置]（http://stackoverflow.com/a/32737662/3731823）'SPARK_PUBLIC_DNS'和'SPARK_LOCAL_IP'以匹配主機自己的IP地址192.xxx或10.xxx）。如果沒有它，Spark可能會通知和/或綁定到Docker的172.x.x.x ip。 – NikoNyrh

我將不勝感激，如果你能指出我迄今爲止使用碼頭所面臨的問題您是否嘗試過使用Kubernetes來解決他面臨的網絡問題？ –

我還沒有試過Kubernetes。我遇到的問題在http://sometechshit.blogspot.hu/2015/04/running-spark-standalone-cluster-in.html中也有描述。該博客文章還提出瞭解決方案，我試着繼續，但在某些時候，我放棄了，只是轉向主持網絡。它工作正常，沒有額外的調整。（我沒有設置「SPARK_PUBLIC_DNS」和「SPARK_LOCAL_IP」。） –

是否有適用於多節點集羣部署的Apache Spark 2.0.0公共Docker映像？

回答

相關問題