python-multiprocessing

    0熱度

    1回答

    我在寫一個測試程序,使用python multiprocessing。我正在使用記錄器記錄所取得的進展。然而,記錄器似乎不起作用。它不會從子進程內記錄或打印。不清楚發生了什麼問題。用普通打印語句替換記錄器也無濟於事。下面是我的代碼: from multiprocessing import Pool from multiprocessing.pool import ApplyResult imp

    2熱度

    1回答

    我正在開發一個分析大文件的工具。爲了做到這一點,我引入了多處理,並且一切看起來都很好。爲了做到這一點,我使用multiprocessing.pool創建了N個線程,並處理了我以前創建的不同塊。 pool = Pool(processes=params.nthreads) for chunk in chunk_list: pool.apply_async(__parallel_quant

    0熱度

    1回答

    當我試圖用Python語言編寫的利用多重簡單的測試程序返回的自定義對象。我正在使用Pool.map()。對此,我傳遞了應該由子進程調用的方法。 它正常工作,我得到預期的結果時,返回類型爲蟒蛇內置類型如字符串,日期時間等 然而,當我使用自定義的類作爲返回類型,我的過程只是掛起。不知道如果我做的是正確的事情,任何建議將不勝感激。這裏是我的代碼如下: from multiprocessing impor

    0熱度

    1回答

    我正在嘗試使用Pool.starmap_async來運行一些採用多個參數作爲輸入的代碼,以便快速掃描參數空間。代碼運行一個有時不會收斂的linalg函數,而是拋出一個np.linalg.LinAlgError。在這種情況下,我希望我的代碼返回np.nan,並繼續其快樂的方式。理想情況下,我也希望指定一個超時,以便代碼在設定的秒數後放棄並繼續到不同的參數組合。 # This is actually

    1熱度

    1回答

    我創建了一個matplotlib動畫,它通過文件中的一系列圖像運行。我可視化的文件通常非常大,並且每個圖像堆棧都有相當長的加載時間(約5秒)。我設法通過使用多處理功能錯開加載過程來讓動畫順利運行,但我無法將動畫另存爲視頻文件。 下面的代碼: from matplotlib import animation import pylab as plt import numpy as np impo

    1熱度

    2回答

    我試圖實現類似df.apply的函數,但跨數據塊的並行化。我寫了下面的測試代碼,看看我是多麼可能獲得(與數據複製等): from multiprocessing import Pool from functools import partial import pandas as pd import numpy as np import time def df_apply(df, f):

    7熱度

    1回答

    以下代碼不打印"here"。問題是什麼? 我在兩臺機器上測試了它(Windows 7,Ubuntu 12.10)和 http://www.compileonline.com/execute_python_online.php 它在所有情況下都不打印"here"。 from multiprocessing import Queue, Process def runLang(que):

    2熱度

    1回答

    我是多處理/多線程模塊中的新手,我試圖檢查它是否可以提高我的程序速度。問題是它返回意外的值。我也試過threading.Thread而不是multiprocessing.Process,發生同樣的問題 - 運行速度比不使用另一個線程慢。 在這個例子中,我使用了多處理模塊,但是當我嘗試多線程(差異在註釋中)時,它幾乎相同 下面是打印2個函數順序運行的時間和這些函數並行運行的時間: import ti

    7熱度

    1回答

    如果我創建4名工人池,並設置他們做一些任務(使用pool.apply_async(..)),我可以從內使用multiprocessing.current_process().name訪問每一個進程的名字,但我設置爲從父進程名稱(這主要是如何記錄)?

    0熱度

    1回答

    我試圖利用跨多個不同計算機的多處理,其中pathos似乎是geared towards:「Pathos是異構計算的框架,它主要提供配置和啓動並行計算的通信機制跨異質資源「。然而,在查看文檔時,我對如何啓動和運行集羣感到不知所措。我期望: 使用安全身份驗證設置遠程服務器或遠程服務器組。 安全地連接遠程服務器。 使用標準多處理程序包(如本相關問題中的pseudocode)中的直接API(如pool.m