python-multiprocessing

9熱度

3回答

我是否需要顯式地將multiprocessing.Queue實例變量傳遞給子進程在實例方法上執行？

我有幾個基本的問題，當涉及到使用Python的multiprocessing模塊： class Someparallelworkerclass(object) : def __init__(self): self.num_workers = 4 self.work_queue = multiprocessing.JoinableQueue() sel

7熱度

1回答

我可以在一個類的方法中使用multiprocessing.Pool嗎？

我打算在我的代碼中使用multiprocessing以獲得更好的性能。但是，我得到了一個錯誤如下： Traceback (most recent call last): File "D:\EpubBuilder\TinyEpub.py", line 49, in <module> e.epub2txt() File "D:\EpubBuilder\TinyEpub.

0熱度

1回答

多進程中的進程。池不報告運行時錯誤

我有一個Python進程池使用from multiprocessing import Pool。我將這些進程傳遞給不同的函數來運行，調用Pool.apply_async函數。如果我在其中一個函數中引入錯誤（即：一行代碼，如5/0），預期的命令行報告ZeroDivisionError: integer division or modulo by zero將永遠不會顯示，程序也不會終止。即使我在調用P

0熱度

1回答

Python多處理：跨進程的唯一對象標識

假設您想要並行運行多個進程（使用多處理，可能在多個獨立機器上，如羣集中），其中每個進程都會創建一個特定類的新實例列表。然後，您將所有這些列表發送回父進程，並且要將它們組合起來。現在，我們可以通過對象ID來索引這些實例嗎？我可以期待id唯一標識給定每個對象是在單獨的進程上生成的對象（可能是一臺單獨的機器）嗎？換句話說，對象的id是否在進程間發送數據所需的酸洗過程中存活，還是解釋器在取消對象時爲對象

2熱度

1回答

交錯的數據加載與multiprocessing.Queue somtimes導致項目被消耗無序

我正在寫一個劇本動畫圖像數據。我有一些大型圖像立方體（3D陣列）。對於其中的每一個，我逐步瀏覽每個立方體中的幀，一旦我接近它的結尾，就加載下一個立方體並繼續。由於每個立方體的尺寸很大，因此存在顯着的加載時間（約5秒）。我希望動畫能夠在多維數據集之間無縫地切換（同時也節省內存），所以我歪曲了加載過程。我在解決方案方面取得了一些進展，但仍然存在一些問題。下面的代碼加載每個數據立方體，將其拆分爲幀並將

9熱度

1回答

在等待信號量時，如何在接收到SIGTERM後正常退出python進程？

我有一個使用多處理模塊產生5個其他Python進程的Python進程。我們稱之爲父進程P0和其他P1-P5。要求是，如果我們發送一個SIGTERM給P0，它應該先關閉P1到P5，然後退出。捕獲是P1和P5正在等待信號量。所以當我將SIGTERM發送到這些進程時，它們調用信號處理程序並退出。但是由於他們在等待信號量，他們會拋出異常。有沒有辦法在退出前捕獲該異常，以便P0至P5能夠優雅地退出？回溯

0熱度

1回答

關閉wxPython窗口時，Python看門狗未終止

我有一個應用程序，它包含一個wxPython GUI，它在初始化時啓動監視器觀察者和python進程。 class MonitorApp(wx.App): def __init__(self): wx.App.__init__(self, True, 'monitor_stderr.log', False, False) self.q = Queue()

1熱度

2回答

將多進程池內循環（進程間共享內存）

我正在使用Python軟件包「deap」來解決遺傳算法的一些多目標優化問題。這些功能可能非常昂貴，並且由於GA的進化性質，它的複雜性非常快。現在這個包確實有一些支持，以允許演化計算與多進程並行化。但是，我想更進一步並多次運行優化，並在一些優化參數上使用不同的值。例如，我可能想用權值的不同值來解決優化問題。這似乎是一個非常自然的循環案例，但問題是這些參數必須在程序的全局範圍內定義（即在「main

0熱度

1回答

PyMongo的批量寫入操作功能與多處理和發電機

PyMongo supports發電機批處理與sDB.insert(iter_something(converted))。批量寫入操作功能，可批量執行寫入操作，以減少網絡往返次數並提高寫入吞吐量。下面的代碼看起來可行，但我不知道PyMongo是否仍然能夠將生成器和多處理器一起迭代，直到它產生了1000個文檔或16MB數據，然後在批處理插入到MongoDB時暫停生成器。 #!/usr/bin/en

1熱度

3回答

限制一次從python腳本運行的進程數

我正在運行一個啓動子進程以通過rsync執行備份的備份腳本。不過，我無法限制它一次啓動的rsyncs數量。這裏是我目前工作的代碼： print "active_children: ", multiprocessing.active_children() print "active_children len: ", len(multiprocessing.active_children())