如何管理spark和scala的多個版本

Question

我有一個紗線羣集，另一個服務器只用於向羣集提交spark任務。

但是有多個版本的scala說2.10.x和2.11.x，也有1.6.x，2.0.x.2.1.x這樣的火花的多個版本。

有沒有辦法在一臺服務器上優雅地管理不同的版本？

Answer 1

當你提交一些東西給紗線時，它並不真正關心運行的東西，只要它知道在哪裏得到字節碼就可以執行。只要確保在兩個數據節點上安裝了相同的路徑，並從正確的版本提交。我從來沒有試過碼頭工人，但是我在工作中談到的碼頭工人似乎並不認爲這是個好主意。