Python：高效實現特徵向量

Question

我正在將特徵向量作爲位圖來實現文檔中的文檔。我已經擁有整個語料庫（作爲列表/集）的詞彙表以及每個文檔中的術語列表。

例如，如果語料庫詞彙表爲['a', 'b', 'c', 'd']且文檔d1中的詞語爲['a', 'b', 'd', 'd']，則d1的特徵向量應爲[1, 1, 0, 2]。

要生成特徵向量，我需要遍歷語料庫詞彙表並檢查每個詞是否在文檔詞條列表中，然後將該詞位置於文檔特徵向量的正確位置。

什麼是最有效的實現方式？這裏有一些事情我已經考慮：

• 使用set將使檢查翻譯會員非常有效的，但set■找沒有順序，和特徵向量位需要在排序語料庫詞彙的順序。
• 對語料庫詞彙使用dict（映射每個詞彙項到任意值，如1）將允許迭代sorted(dict.keys())以便我可以跟蹤索引。但是，我會有空間開銷dict.values()。
• 使用sorted(list)將無法​​檢查成員資格。

StackOverflow會提示什麼？

Answer 1

我認爲最有效的方法是遍歷每個文檔的術語，在（排序的）語料庫中獲取術語的位置並相應地設置該位。

語料庫詞條的排序列表可作爲詞典存儲爲term -> index映射（基本上是inverted index）。

你可以像這樣創建：

corpus = dict(((term, index) for index, term in enumerate(sorted(all_words)))) 

對於每一個文檔，你不得不產生爲特徵向量的0的列表：

num_words = len(corpus) 
fvs = [[0]*num_words for _ in docs] 

然後建立特徵向量會是：

for i, doc_terms in enumerate(docs): 
    fv = fvs[i] 
    for term in doc_terms: 
     fv[corpus[term]] += 1 

測試成員資格沒有開銷，你只需要循環所有文件的所有條款。

---

這一切都表示，這取決於文集的大小，你應該看看numpy和scipy。很可能你會遇到內存問題，並且scipy爲sparse matrices（而不是使用列表列表）提供特殊的數據類型，這可以節省很多內存的。
您可以使用與上面所示相同的方法，但不是將數字添加到列表元素，而是將其添加到矩陣元素（例如，行將是文檔和列是語料庫的術語）。

如果您想應用本地或全局加權方案，還可以使用由numpy提供的某些矩陣運算。

我希望這可以讓你開始:)