2014-09-04 40 views
1

首先,「環境」一詞具有不同的含義,因此讓我澄清一下我的意思。如何將執行環境傳遞給SGE

我的工作在Linux上一個Python流量,並有一定的圖書館,軟件元素和那些運行這個流程並認識到自定義命令所需的文件等(例如YAML)。當我說環境時,我指的是整套依賴項。

我在想的是一種將所有這些'必備條件'封裝到某種東西(我不知道這種東西的技術術語,如果這是可能的話)並將這些東西傳遞給網格引擎的方法GE上的所有節點都不需要安裝相同的一組程序和庫,並且可以使用這些東西來運行作業。

有沒有人碰到這樣的情況?這是可能嗎 ?

另外,我有ssh到每一個節點,並確保這些庫等單獨安裝。

回答

1

我看到兩個主要選項。

  1. 虛擬環境:創建一個virtual environment,將在您的節點上安裝nfs。你的工作應該使用那個虛擬環境。 (請注意,我想的virtualenv可與完整路徑所以你需要將它們安裝在他們的MAASTER節點上的相同路徑。)
  2. 使用類似docker封裝(或你寫的,封裝)的可執行文件,使他們需要的所有圖書館都是獨立的。
+0

是,碼頭工人似乎是一個更加「做它一次」的做法是一個好主意。我正在使用幾個節點,因爲計算時間對作業不成問題 – 2014-09-05 19:12:17

+0

您是否成功使用Docker打包分發給工作節點的環境? – 2015-02-14 06:53:51

相關問題