Python中的多處理來處理參數列表

Question

我正在用python編寫我的第一個多處理程序。

我想創建一個要處理的值列表，並且8個進程（數字操作系統CPU核心）將消耗和處理值列表。

我寫了下面的Python代碼：

__author__ = 'Rui Martins' 

from multiprocessing import cpu_count, Process, Lock, Value 

def proc(lock, number_of_active_processes, valor): 
    lock.acquire() 
    number_of_active_processes.value+=1 
    print "Active processes:", number_of_active_processes.value 
    lock.release() 
    # DO SOMETHING ... 
    for i in range(1, 100): 
     valor=valor**2 
    # (...) 
    lock.acquire() 
    number_of_active_processes.value-=1 
    lock.release() 

if __name__ == '__main__': 
    proc_number=cpu_count() 
    number_of_active_processes=Value('i', 0) 
    lock = Lock() 
    values=[11, 24, 13, 40, 15, 26, 27, 8, 19, 10, 11, 12, 13] 
    values_processed=0 

    processes=[] 
    for i in range(proc_number): 
     processes+=[Process()] 
    while values_processed<len(values): 
     while number_of_active_processes.value < proc_number and values_processed<len(values): 
      for i in range(proc_number): 
       if not processes[i].is_alive() and values_processed<len(values): 
        processes[i] = Process(target=proc, args=(lock, number_of_active_processes, values[values_processed])) 
        values_processed+=1 
        processes[i].start() 

      while number_of_active_processes.value == proc_number: 
       # BUG: always number_of_active_processes.value == 8 :(
       print "Active processes:", number_of_active_processes.value 

    print "" 
    print "Active processes at END:", number_of_active_processes.value 

而且，我有以下問題：

• 該計劃從來沒有停止
• 我走出RAM

Answer 1

簡化您的代碼到以下內容：

def proc(lock, number_of_active_processes, valor): 
    lock.acquire() 
    number_of_active_processes.value += 1 
    print("Active processes:", number_of_active_processes.value) 
    lock.release() 
    # DO SOMETHING ... 
    for i in range(1, 100): 
     print(valor) 
     valor = valor **2 
    # (...) 
    lock.acquire() 
    number_of_active_processes.value -= 1 
    lock.release() 


if __name__ == '__main__': 
    proc_number = cpu_count() 
    number_of_active_processes = Value('i', 0) 

    lock = Lock() 
    values = [11, 24, 13, 40, 15, 26, 27, 8, 19, 10, 11, 12, 13] 
    values_processed = 0 

    processes = [Process() for _ in range(proc_number)] 
    while values_processed < len(values)-1: 
     for p in processes: 
      if not p.is_alive(): 
       p = Process(target=proc, 
          args=(lock, number_of_active_processes, values[values_processed])) 
       values_processed += 1 
       p.start() 

如果你運行它像上面的print(valor)加入你看看到底發生了什麼，你正在成倍增長，勇氣給你耗盡內存的時候，你不要陷在您遇到的，而for循環。

這是在第12屆過程幾分之一秒後加入print(len(srt(valor)))輸出，它只是不斷去：

2 
3 
6 
11 
21 
......... 
59185 
70726 
68249 
73004 
77077 
83805 
93806 
92732 
90454 
104993 
118370 
136498 
131073 

只需改變你的循環以下幾點：

for i in range(1, 100): 
    print(valor) 
    valor = valor *2 

最後創建的號碼是：

6021340351084089657109340225536 

使用你自己的代碼，你似乎得到st科軍在一段時間，但它是勇敢，在爲不斷增長的for循環數與儘可能多的數字：

167609 
180908 
185464 
187612 
209986 
236740 
209986 

而上....

Answer 2

的問題是不是你的多碼。它在戰俘操作for循環：

for i in range(1, 100): 
     valor=valor**2 

最終的結果將是POW（VAL，2 ** 100），這是太大，並計算出它會花費太多的時間和內存。所以你在最後失去了內存錯誤。

4 GB = 4 * pow(2, 10) * pow(2, 10) * pow(2, 20) * 8 bit = 2**35 bit 

，併爲您的最小號碼8：

pow(8, 2**100) = pow(2**3, 2**100) = pow(2, 3*pow(2, 100)) 
pow(2, 3*pow(2, 100))bit/4GB = 3*pow(2, 100-35) = 3*pow(2, 65) 

它需要3 * POW（2 65）的4 GB內存倍。