預訓練詞嵌入和訓練詞嵌入keras中的區別

Question

我是深度學習的新手，我想探索NLP的深度學習。我通過word嵌入並在gensim word2vec中測試它們。我也聽說過預先訓練過的模型。我對預先訓練的模型和自己培訓模型之間的區別以及如何使用結果感到困惑。

我想在keras中應用它，因爲我不想在Theano或Tensorflow中編寫公式和全部。

Answer 1

當使用gensim訓練word2vec時，您獲得的結果是詞彙表中作爲向量的單詞表示。這些向量的維度是神經網絡的大小。

預訓練的word2vec模型只包含在大型語料庫上預先訓練的那些向量的列表。你會發現各種大小的預先訓練的向量。

如何使用這些向量表示？這取決於你想要做什麼。這些載體顯示出一些有趣的特性：已經表明，'人'+'國王' - '女人'的載體通常會導致與載體'女人'最接近的匹配。您也可以考慮使用單詞向量作爲另一個神經網絡/計算模型的輸入。

Gensim是一個非常優化的庫，用於執行CBOW和skip-gram算法，但如果您真的想自己設置神經網絡，您首先必須瞭解CBOW和skip-gram的結構，並學習如何例如在keras中進行編碼。這應該不是特別複雜，谷歌搜索這些主題應該爲您提供許多結果來幫助您。