Sklearn TFIDF vectorizer作爲並行作業運行

Question

如何運行sklearn TFIDF vectorizer（和COUNT vectorizer）作爲並行作業運行？類似於其他sklearn模型中的n_jobs = -1參數。

Answer 1

這不是直接可能的，因爲沒有辦法將這些向量化工所需的詞彙表進行並行化/分佈式訪問。

要執行並行文檔矢量化，請改爲使用HashingVectorizer。 scikit文檔提供了使用此矢量化器的an example來批量訓練（和評估）分類器。類似的工作流程也適用於並行化，因爲輸入項​​映射到相同的矢量索引，而並行工作人員之間沒有任何通信。

只需單獨計算部分術語文檔矩陣，並在所有作業完成後連接它們。此時，您也可以在級聯矩陣上運行TfidfTransformer。

不存儲輸入項詞彙表的最大缺點是難以找出哪些項被映射到最終矩陣中的哪一列（即反向變換）。唯一有效的映射是對術語使用散列函數來查看它分配給哪個列/索引。對於逆向變換，您需要爲所有獨特的術語（即您的詞彙）做到這一點。