我正在使用pathos.multiprocessing來並行化需要使用實例方法的程序。下面是一個最小的工作例如:如何將關鍵字列表傳遞給pathos.multiprocessing?
import time
import numpy as np
from pathos.multiprocessing import Pool, ProcessingPool, ThreadingPool
class dummy(object):
def __init__(self, arg, key1=None, key2=-11):
np.random.seed(arg)
randnum = np.random.randint(0, 5)
print 'Sleeping {} seconds'.format(randnum)
time.sleep(randnum)
self.value = arg
self.more1 = key1
self.more2 = key2
args = [0, 10, 20, 33, 82]
keys = ['key1', 'key2']
k1val = ['car', 'borg', 'syria', 'aurora', 'libera']
k2val = ['a', 'b', 'c', 'd', 'e']
allks = [dict(zip(keys, [k1val[i], k2val[i]])) for i in range(5)]
pool = ThreadingPool(4)
result = pool.map(dummy, args, k1val, k2val)
print [[r.value, r.more1, r.more2] for r in result]
打印結果(如預期):
Sleeping 4 seconds
Sleeping 1 seconds
Sleeping 3 seconds
Sleeping 4 seconds
Sleeping 3 seconds
[[0, 'car', 'a'], [10, 'borg', 'b'], [20, 'syria', 'c'], [33, 'aurora', 'd'], [82, 'libera', 'e']]
然而,在這個調用map
最後兩個參數事項的順序,如果我這樣做:
result2 = pool.map(dummy, args, k2val, k1val)
我獲得:
[[0, 'a', 'car'], [10, 'b', 'borg'], [20, 'c', 'syria'], [33, 'd', 'aurora'], [82, 'e', 'libera']]
而我想獲得相同的第一個結果。該行爲是一樣什麼apply_async
kwds
可以在標準模塊multiprocessing
在做,即通過字典,其中每個字典鍵是關鍵字名稱和項目的關鍵字參數(見allks
)的列表。請注意,標準模塊multiprocessing
不能使用實例方法,因此甚至不符合最低要求。
姑且這將是: 結果= pool.map(假人,ARGS,kwds = allks)#這不工作
一種發自內心的特大型感謝您投入的時間和精力在開發' pathos'。解決我的具體問題的附加榮譽。 – astabada