正常softmax和採樣softmax之間有什麼區別？

Question

我正在學習seq2seq神經模型，我對常規softmax和採樣softmax感到困惑。我被告知，採樣的softmax主要用於大詞彙量。那麼誰能直觀地解釋兩者之間的區別？

Answer 1

softmax是一個softmax，其中計算歸一化總和中的每個分量以便使所有概率總和爲1.在採樣的softmax中，通常只需要softmax分佈的幾個分量就可以了基本上通過簡單地採樣先前分佈的一些值，總結它們並將其作爲歸一化因子的近似值來忽略歸一化因子的直接計算。