使用索引列表有效填充NumPy數組

Question

我知道如何執行joblib中的並行循環，該循環返回一個列表作爲結果。

但是，是否可以並行填充預定義的numpy矩陣？

想象一下下面的小例子，矩陣和數據：

column_data = ['a', 'b', 'c', 'd', 'e', 'f', 'x'] 
data = [['a', 'b', 'c'], 
     ['d', 'c'], 
     ['e', 'f', 'd', 'x']] 
x = np.zeros((len(data), len(column_data)) 

注意column_data排序和獨特的。 data是列表的列表，而不是矩形矩陣。

循環：

for row in range(len(data)): 
    for column in data[row]: 
     x[row][column_data.index(column)] = 1 

有可能parallellise這個循環？填充70,000 x 10,000矩陣非常緩慢而沒有並行化。

Answer 1

下面是一個幾乎量化的方法 -

lens = [len(item) for item in data]  
A = np.concatenate((column_data,np.concatenate(data))) 
_,idx = np.unique(A,return_inverse=True) 

R = np.repeat(np.arange(len(lens)),lens) 
C = idx[len(column_data):] 

out = np.zeros((len(data), len(column_data)))  
out[R,C] = 1 

這裏的另一個 -

lens = [len(item) for item in data] 
R = np.repeat(np.arange(len(lens)),lens) 
C = np.searchsorted(column_data,np.concatenate(data)) 

out = np.zeros((len(data), len(column_data))) 
out[R,C] = 1