如何通過網絡拆分python任務

Question

我有一個python程序，執行幾個獨立和耗時的過程。 python代碼通常是一個automater，它通過popen調用幾個批處理文件。

該程序目前需要幾個小時，所以我想分割它跨越多臺機器。我如何將任務分解爲與python並行處理，通過Intranet網絡進行處理？

Answer 1

有很多Python並行化框架。只是選項二：

• 的IPython

• 並行計算設施的並行計算框架jug

Answer 2

對於遠程執行，你可以使用execnet。你是否也必須分發數據？

Answer 3

我可能會建議STAF。它被稱爲軟件測試框架，但它允許跨多臺PC（和多個平臺）分發活動。您可以運行腳本，複製數據，並輕鬆地在多個會話之間進行通信。最重要的是，與現有腳本集成相當容易。