python-multiprocessing

    3熱度

    2回答

    我在多處理的小型Windows服務應用程序內運行以下python代碼行。 multiprocessing.Manager() 問題是在運行Windows服務時,模塊sys set中似乎沒有屬性argv。由於這個原因,我在python多處理分叉庫中發生了以下錯誤。我希望有人能夠解釋這個問題。 堆棧跟蹤問題(Windows服務中運行multiprocessing.Manager時): File "

    0熱度

    1回答

    我似乎有一個Manager.dict()傳遞給函數列表(在子進程內)的問題,因爲當我在函數內修改它時,新值isn' t可在外面使用。 創建我的函數列表如下: gwfuncs = [reboot, flush_macs, flush_cache, new_gw, revert_gw, send_log] gw_func_dict = dict((chr(2**i), gwfuncs[i]) for

    2熱度

    1回答

    基於:http://docs.python.org/2/library/multiprocessing.html#managers我正在重寫一個要在兩個進程中分裂的示例,即客戶機和服務器。這是下面的代碼: from multiprocessing.managers import BaseManager import multiprocessing class ManagerServer(mu

    1熱度

    1回答

    我現在正在處理大數據集。我的輸入將是4個不同的數據集,我必須對每個數據集應用特定的功能。所以我所做的就是讀取所有四個數據集,並使用pool.map將這個函數並行應用於每個數據集。所以現在我有一個父母和四個孩子的過程。一切都很好,直到這一點。 Q1。現在每個進程內發生了什麼。在我應用於每個數據集的函數中,我將每個元組與其他元組進行比較,因此它是一種遞歸。有沒有辦法讓它平行,因爲這個比較可能需要很長時

    3熱度

    1回答

    我正在使用lxml在python中併發地解析多個xml文件。當我初始化該過程時,我希望我的主類在將etree對象傳遞給進程之前對XML進行一些工作,但是我發現當etree對象到達新進程時類仍然存在,但XML從在對象內部和getroot()返回None。 我知道我可以使用隊列僅通過揀選的數據,但是這也與我傳遞給過程中的「ARGS」場內部的情況? 這裏是我的代碼: import multiproces

    2熱度

    1回答

    我將有一個子進程發送LDAP查詢和其他子進程來檢索響應。 在兩個進程之間共享LDAP對象時出現問題。有人能指點我一個解決方案嗎? import ldap from multiprocessing import Process def send_ldap(ldap_conn): print ldap_conn def receive_ldap(ldap_conn):

    2熱度

    3回答

    即時進行復雜模擬參數的優化。我使用多處理模塊來增強優化算法的性能。多處理的基礎我學到了http://pymotw.com/2/multiprocessing/basics.html。 根據來自優化算法的給定參數,複雜仿真持續不同的時間,大約1到5分鐘。如果參數選擇非常糟糕,模擬可能會持續30分鐘或更長時間,結果無用。所以我在考慮在多處理過程中超時構建,這會終止所有超過定義時間的模擬。問題的下面有一

    1熱度

    1回答

    我有一個作爲守護進程運行的Python腳本。在啓動時,它會產生5個進程,每個進程都連接到Postgres數據庫。現在,爲了減少數據庫連接的數量(最終會變得非常大),我試圖找到跨多個進程共享單個連接的方法。爲此,我正在查看multiprocessing.sharedctypes.Value API。但是,我不知道如何跨進程傳遞使用此API的psycopg2.connection對象。誰能告訴我怎麼做

    2熱度

    1回答

    我需要與POPEN運行長foobar.py過程和解析其輸出與多處理過程。 我的問題是,有時我不能等待解析器完成,所以我需要使用the multiprocessing daemon property對解析器進行守護進程。我需要解析器可以使用deamonic non daemonic方式。該文檔還表示,一個守護進程不允許創建子進程。所以在這種情況下,我會在解析器分叉之前運行Popen進程(請參閱下面的

    0熱度

    2回答

    標記這個作爲回答,並開始圍繞在速度問題真正出現一個較簡單的主題是 Python slow read performance issue 感謝迄今爲止的所有意見,非常有用 我有大約40M XML文件傳播(不均勻)跨約。 60K子目錄,該結構是基於一個10位數字分割這樣: 三十四分之一十二/ 56 /九十〇分之七十八/ files.xml 我有這是違背牽引的值的文件perl腳本單個字段輸出並打印值和文