爲什麼段落向量的概念有意義？

在段落矢量建模中，它們將段落引用爲內存信息，並與上下文單詞一起用於預測目標單詞。我不明白爲什麼一個段落會成爲預測目標詞的有用信息。該段落是否應包含目標詞？ 1 爲什麼段落向量的概念有意義？

任何人都可以給我舉例說明如何做到這一點嗎？這裏是什麼？段落ID也是一個熱點向量？例如，我有段A，B，C和單詞a，b，c，d，e，f，g。段落B是abcdefg的序列。該文件是A + B + C 如果我想訓練這個文件，我想預測單詞d。這是什麼輸入段落？如果窗口大小爲7，我知道輸入的單詞應該是a，b，c，e，f，g的熱詞向量。

來源

2016-11-25 Zheng Zhong

您發佈的圖像來自論文國家句子和文檔的分佈式表示Le和Tomas Mikolov。你可以在2.2節中找到段落向量的詳細解釋。

當訓練單詞嵌入時，我們通常會從某個單詞的鄰域中獲取單詞的向量。在使用段落嵌入時，您可以將其考慮爲爲我們處理的每個訓練樣本添加一個字。這就像更多的全球性詞語一樣描述整個段落，而不僅僅是被選爲上下文的少數詞彙。

段落的表示與單詞的表示相同。您正在編碼想要使用哪個段落的熱點矢量，並且在處理語料庫時正在對段落嵌入進行訓練。在訓練過程中，您可以再次將其視爲某個隱藏的詞語，插入到給定段落的每個上下文中。

在計算隱藏層中的值時，可以使用添加或隱含。我提到的論文是使用一個概念，所以得到的向量是一個半段矢量和一個半矢量由字嵌入計算。

來源

2016-11-26 01:13:58 piko

謝謝你的回答。 –

該段落是否包含我們想要預測的單詞？ –

本文中的段落矢量並沒有考慮到真正的單詞。你只需要第n段，給它分配一個隨機向量，然後訓練這個向量。因此，在你的情況下，你會有3段向量A，B和C，並且對於訓練中的每個N-gram樣本，你都可以使用N-gram源自的那個段落向量。 – piko

爲什麼段落向量的概念有意義？

回答

相關問題