神經網絡訓練中的MSE

訓練期間MSE是否可能增加？神經網絡訓練中的MSE

我目前正在計算驗證集的每個時期的MSE，並且在特定點上，MSE開始增加而不是減少。有人對此行爲有解釋嗎？

來源

2016-07-28 Bastian Schoettle

回答你的問題：是的，這是可能的。

如果您正在使用正規化或隨機訓練，MSE在訓練時會出現一些起伏。

一些可能的原因的問題

您使用的是學習率過高，這讓來過沖成本函數的局部極小的問題。
神經網絡過度擬合。訓練過多，失去推廣能力。

你可以嘗試什麼：

當此開始發生，降低你的學習速度。
在您的網絡上應用某種正則化，如退出，以避免過度配合。

來源

2016-07-28 19:47:24

謝謝您的回答！我也考慮過學習率。過度配合是一個好點。我沒有想過這件事。你知道有什麼好的方法來調整學習速度嗎？ –

您可以手動執行此操作，檢測MSE何時增加並將學習速率降低一位小數。例如，如果使用0.01將其更改爲0.001。如果您使用隨機梯度下降作爲優化函數，則可以搜索優化算法，如Adam https://arxiv.org/abs/1412.6980。 Tensorflow已經實現了Adam優化器。希望能幫助到你。 –

謝謝！我會看看Adam，並儘可能實施它。我經常懶得手動做事:)根據你的經驗：體重衰減是否值得作爲正規化來實施？ –

神經網絡訓練中的MSE

回答

相關問題