什麼是詞嵌入的維度？

Question

我想了解單詞嵌入中「維度」的含義。

當我以NLP任務的矩陣形式嵌入單詞時，維度扮演了什麼角色？有沒有可以幫助我理解這個概念的視覺例子？

Answer 1

我不是專家，但我認爲維度只是表示已賦予單詞的變量（又名屬性或特徵），儘管可能比這更多。每個維度的含義和維度的總數將特定於您的模型。

我最近看到從張量流動圖書館這一可視化嵌入： https://www.tensorflow.org/get_started/embedding_viz

這尤其有助於降低高維模型到什麼人可感知。如果你有三個以上的變量，則很難想象羣集（除非你是斯蒂芬霍金顯然）。

這wikipedia article on dimensional reduction和相關頁面討論如何功能的維度，以及有太多的問題。

Answer 2

像word2vec或GloVe這樣的詞嵌入不會在二維矩陣中嵌入單詞，它們使用一維矢量。 「維度」是指這些向量的大小。它與詞彙量的大小是分開的，這是您實際保留向量的詞語數量，而不是僅僅投出。

理論上，較大的向量可以存儲更多的信息，因爲它們有更多的可能狀態。在實踐中，除300-500之外沒有太多好處，並且在一些應用中甚至更小的載體工作正常。

下面是GloVe homepage的圖形。

向量的維數被示出在左側軸;例如，減小它會使圖形變短。每列是一個單獨的矢量，每個像素的顏色由矢量中該位置的數字確定。