在python中過濾大型稀疏矩陣

Question

我有一個以scipy sparse csr_matrix格式存儲的大型（60,000 x 60,000）對稱文檔相似性矩陣。

我想查找所有高於某個值的值的索引。換句話說，所有文檔對的相似度分數都大於某個值。

當我嘗試像

matrix > 0.9 

我IPython的內核崩潰。

我是新來的scipy和numpy，所以任何幫助將不勝感激。

Answer 1

我會嘗試在一個較小的數據集 的執行操作我只是想

In [22]: import scipy.sparse as sps 
In [23]: m = sps.csr_matrix(np.random.rand(100,100)) 

In [24]: m 
Out[24]: 
<100x100 sparse matrix of type '<type 'numpy.float64'>' 
    with 10000 stored elements in Compressed Sparse Row format> 

In [25]: m > .5 
Out[25]: 
<100x100 sparse matrix of type '<type 'numpy.bool_'>' 
    with 5028 stored elements in Compressed Sparse Row format> 

所以這似乎工作。也許你的矩陣太大/密集。你自己創建了scipy嗎？也許有一個構建錯誤導致它崩潰。

什麼是您的操作系統/版本的Python/scipy版本？

import scipy 
scipy.__version__