將cpu綁定壓縮作業分配給多臺計算機？

Question

有一天，我需要將大量數據存檔在我們的網絡上，我感到沮喪，我沒有立即利用多臺機器的能力來加速這個過程。

我知道創建分佈式作業管理系統是命令行歸檔工具的一大飛躍。

我現在想知道這種類型的分佈式性能場景最簡單的解決方案是什麼。一個自定義工具是否永遠是一個需求，或者是否有方法使用標準實用程序，並以某種方式透明地在更高級別分配其負載？

感謝您的任何建議。

Answer 1

解決此問題的一種方法可能是使用分佈式make系統在網絡硬件上運行腳本。這是（或曾經是）GNU Make的一些實現的一個實驗性特徵。 Solaris爲了相同的目的實現了一個dmake實用程序。

另一種更重量級的方法可能是使用Condor來分發您的歸檔作業。但我認爲你不會僅僅爲每年兩次的歸檔運行安裝Condor，它更像是一個定期清理網絡硬件備用週期的系統。我們可以說服SCons構建系統，它真的是一個基於Python的替代產品，可以讓他們在整個網絡上進行工作。

然後，您可以使用腳本ssh在聯網的PC上啓動作業。

所以有幾種方法可以解決這個問題，而不必採用並行編程來處理所有需要的樂趣。