2011-04-06 63 views
4

我正在尋找創建不同類型的作業的作業調度程序的最佳方法。 CJobs是線程化的,在進程的下一步可以運行之前,一些工作需要完成。這是目前所有通過數據庫表來管理...我認爲很好。但是,如果有更好的方法來管理依賴關係,我就會全神貫注。python中的依賴包的批處理

最好我想在python中做到這一點。我看到有平行的python模塊,它看起來不錯,但是擔心作業之間的依賴性問題。

有人可以推薦任何東西,不,我需要做什麼或如何去這樣做呢?

非常感謝!

d

UPDATE:這是在每個服務器集羣做了一組有限的可用工... 1每個端口。 Celery或SCon支持這個嗎?

+0

到目前爲止,我正在與芹菜和rabbitMQ合作。似乎到目前爲止做的伎倆。 – deecodameeko 2012-04-10 19:56:45

回答

1

我已經有很多成功的與Celery

+0

好吧,我已經看過芹菜,我喜歡它。我擔心的是,如果我有一組工作依賴於另一組工作,那麼我可能會讓工作人員在執行批次2之前等待批次1完成,而不是重新分配這些工作人員在隊列中執行其他工作......試圖避免工人停滯不前坐着。也許我需要在論壇上提出一些關於日程安排和依賴關係的問題,如果他們有問題的話。 – deecodameeko 2011-04-07 13:02:51

+0

查看他們的郵件列表或IRC頻道freenode(#celery) – 2011-04-07 21:32:09

1

SCons可以對此很有幫助。

它向軟件建設偏置(編譯,鏈接等),但你可以很容易地定義新的結果類,新的命令和新源類,使其處理數據(和依賴性)正常。

基於更新,你可能需要像BuiltBot,也。

3

Luigi看起來很有趣。它允許您創建工作流程 - 相關作業集合,這些依賴關係由Luigi管理。它還具有提供依賴關係圖的簡單Web界面。