在RNN/lstm RNN中使用批規範化是否正常？

Question

我是一名深度學習的初學者。我知道在常規神經網絡中，人們在激活之前使用批量規範，並且會減少對良好重量初始化的依賴。我想知道在我使用RNN/lstm RNN時它是否也會這樣做。有沒有人有任何經驗呢？謝謝。

Answer 1

不，您不能在循環神經網絡上使用批處理標準化，因爲統計數據是按每批計算的，所以這不考慮網絡的經常性部分。權重在RNN中共享，每個「重複循環」的激活響應可能具有完全不同的統計特性。

其他類似於批處理標準化的技術已經開發出來了，例如Layer Normalization。