張量流中的LSTM重複性重量的壓降

Question

Tensorflow的DropoutWrapper允許將壓差應用於單元的輸入，輸出或狀態。然而，我還沒有看到選擇對細胞的經常權重（原始LSTM公式中使用的8種不同矩陣中的4種）做同樣的事情。我只想在執行我自己的Wrapper之前檢查是否屬於這種情況，我相信這會非常簡單。

Answer 1

這是因爲原來的LSTM模型只對輸入和輸出層適用差（只對非經常性層。）本文認爲是描述了輟學的LSTM一個「教科書」：https://arxiv.org/pdf/1409.2329.pdf

最近有些人也嘗試在復發層中使用輟學。如果你想看看背後的實現和數學運算，請查找Yarin Gal的「理論基礎上的迴歸神經網絡中丟失的應用」。我不確定Tensorflow或Keras是否已經實施了這種方法。