多處理不起作用計算矩陣的叉積

Question

我想比較非並行版本和並行版本函數的運行時間。問題在於，儘管並行函數適用於線程包，但在切換到多處理包後，這些進程永遠不會啓動。我想知道這是否是由我的編譯器或其他任何東西引起的。任何人都可以運行我的代碼，看看它是否在其他環境中工作？如果沒有，我的代碼中有什麼問題？

import numpy as np 
from multiprocessing import Process 

def single_row(a,b,output): 
    for j in range(len(b[0])): 
     for k in range(len(a)): 
      output[j]=output[j]+a[k]*b[k][j] 

#Parallel Matrix Cross Multiplication 
def cross_parallel(a,b): 
    if len(a[0])==len(b): 
     tasks=[None]*len(a) 
     T=np.array([[0]*len(b[0])]*len(a)) 
     for i in range(len(a)): 
      tasks[i]=Process(target=single_row,args=(a[i],b,T[i])) 
     for task in tasks: 
      task.start() 
     for task in tasks: 
      task.join() 
     return T 
    else: 
     print 'Error: Invalid Matrices' 

#Non-parallel Matrix Cross Multiplication 
def cross_basic(a,b): 
    if len(a[0])==len(b): 
     T=np.array([[0]*len(b[0])]*len(a)) 
     for i in range(len(a)): 
      for j in range(len(b[0])): 
       for k in range(len(a[0])): 
        T[i][j]=T[i][j]+a[i][k]*b[k][j] 
     return T 
    else: 
     print 'Error: Invalid Matrices' 

if __name__ == '__main__':  
    x=[[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16]] 
    y=[[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16]] 
    print cross_basic(x,y) 
    print cross_parallel(x,y) 

結果：

[[ 90 100 110 120] 
[202 228 254 280] 
[314 356 398 440] 
[426 484 542 600]] 
[[0 0 0 0] 
[0 0 0 0] 
[0 0 0 0] 
[0 0 0 0]] 

使用線程包工程（只在第15行不同）版本：

import numpy as np 
from threading import Thread 

def single_row(a,b,output): 
    for j in range(len(b[0])): 
     for k in range(len(a)): 
      output[j]=output[j]+a[k]*b[k][j] 

#Parallel Matrix Cross Multiplication 
def cross_parallel(a,b): 
    if len(a[0])==len(b): 
     tasks=[None]*len(a) 
     T=np.array([[0]*len(b[0])]*len(a)) 
     for i in range(len(a)): 
      tasks[i]=Thread(target=single_row,args=(a[i],b,T[i])) 
     for task in tasks: 
      task.start() 
     for task in tasks: 
      task.join() 
     return T 
    else: 
     print 'Error: Invalid Matrices' 

#Non-parallel Matrix Cross Multiplication 
def cross_basic(a,b): 
    if len(a[0])==len(b): 
     T=np.array([[0]*len(b[0])]*len(a)) 
     for i in range(len(a)): 
      for j in range(len(b[0])): 
       for k in range(len(a[0])): 
        T[i][j]=T[i][j]+a[i][k]*b[k][j] 
     return T 
    else: 
     print 'Error: Invalid Matrices' 

if __name__ == '__main__':  
    x=[[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16]] 
    y=[[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16]] 
    print cross_basic(x,y) 
    print cross_parallel(x,y) 

結果：

[[ 90 100 110 120] 
[202 228 254 280] 
[314 356 398 440] 
[426 484 542 600]] 
[[ 90 100 110 120] 
[202 228 254 280] 
[314 356 398 440] 
[426 484 542 600]] 

Answer 1

當你使用線程，結果矩陣在線程中共享（這意味着它基本上是相同的對象，使用相同的內存插槽）。因此修改T在兒童Thread將修改本地版本T，您會得到正確的結果。

對於子流程，每個子女Process都會獲得T的新副本。因此，在子流程中修改T不會修改其本地版本。爲了獲得正確的結果，您需要發送計算結果，例如使用Queue。但是你必須小心，因爲你找回結果的順序不是確定性的。

import numpy as np 
from multiprocessing import Process, Queue 


def single_row(a, b, idx, q): 
    N = len(b[0]) 
    output = np.zeros(N) 
    for j in range(len(b[0])): 
     for k in range(len(a)): 
      output[j] = output[j]+a[k]*b[k][j] 
    q.put((idx, output)) 

# Parallel Matrix Cross Multiplication 


def cross_parallel(a, b): 
    M = len(a) 
    q = Queue() 
    if len(a[0]) == len(b): 
     tasks = [None]*M 
     T = np.array([[0]*len(b[0])]*len(a)) 
     for i in range(M): 
      tasks[i] = Process(target=single_row, args=(a[i], b, i, q)) 
     for task in tasks: 
      task.start() 
     T = [] 
     for i in range(M): 
      T += [q.get()] 
     for task in tasks: 
      task.join() 
     T.sort() 
     T = np.array([v[1] for v in T]) 
     return T 
    else: 
     print('Error: Invalid Matrices') 

# Non-parallel Matrix Cross Multiplication 


def cross_basic(a, b): 
    if len(a[0]) == len(b): 
     T = np.array([[0]*len(b[0])]*len(a)) 
     for i in range(len(a)): 
      for j in range(len(b[0])): 
       for k in range(len(a[0])): 
        T[i][j] = T[i][j]+a[i][k]*b[k][j] 
     return T 
    else: 
     print('Error: Invalid Matrices') 

if __name__ == '__main__': 
    x = [[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12], [13, 14, 15, 16]] 
    y = [[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12], [13, 14, 15, 16]] 
    print(cross_basic(x, y)) 
    print(cross_parallel(x, y)) 

這種方法可以是不易使用，舉例來說，如果你不加入過程之前清空隊列，你可以在你的程序導致死鎖。我建議查看multiprocessing.Pool或concurrents.futures.ProcessPoolExecutor以獲得高級協議，以更好的方式管理通信/進程數量。

def single_row2(a, b): 
    N = len(b[0]) 
    output = np.zeros(N) 
    for j in range(len(b[0])): 
     for k in range(len(a)): 
      output[j] = output[j]+a[k]*b[k][j] 
    return output 

def cross_parallel2(a, b): 
    import itertools 
    from concurrent.futures import ProcessPoolExecutor 
    executor = ProcessPoolExecutor(max_workers=4) 
    M = len(a) 
    if len(a[0]) == len(b): 
     res = executor.map(single_row2, a, itertools.repeat(b)) 

     return np.array([row for row in res]) 
    else: 
     print('Error: Invalid Matrices')