我正確使用python的apply_async嗎？

Question

這是我第一次嘗試在Python中使用多處理。我試圖通過行在我的數據框df上並行化我的功能fun。回調函數只是將結果追加到一個空列表中，稍後我將對其進行排序。

這是正確的使用方法apply_async？非常感謝。

import multiprocessing as mp 

function_results = [] 
async_results = [] 

p = mp.Pool() # by default should use number of processors 

for row in df.iterrows(): 
    r = p.apply_async(fun, (row,), callback=function_results.extend) 
    async_results.append(r) 

for r in async_results: 
    r.wait() 

p.close() 
p.join() 

Answer 1

它看起來像使用map或imap_unordered（dependending你是否需要你的結果進行排序或不）會更好地滿足您的需求

import multiprocessing as mp 

#prepare stuff 

if __name__=="__main__": 

    p = mp.Pool() 

    function_results = list(p.imap_unorderd(fun,df.iterrows())) #unordered 
    #function_results = p.map(fun,df.iterrows()) #ordered 

    p.close()