我的模型是不適合的，張量流？

Question

我的損失在少數時代首先下降，但隨後開始增加，然後增加到某一點，然後停止移動。我認爲現在它已經趨於一致。現在，我們可以說我的模型不適合嗎？因爲我的解釋是（幻燈片93 link），如果我的損失正在下降，然後增加，這意味着我有很高的學習速度，並且在每隔兩個時代我就會衰減，所以在幾個時代損失停止增加後，因爲學習率很低現在，因爲我的學習速度還在下降，所以現在損失應該再次下降，根據幻燈片93，因爲學習率很低，但事實並非如此。我們可以說損失不會進一步下降，因爲我的模型不合適？

Answer 1

因此，要總結，在訓練數據丟失：

• 第一下樓
• 然後再次上升
• 然後將其保持在同一水平
• 然後學習率
• 並且損失不再回落（仍然保持與衰減的學習率相同）

對我來說，聽起來好像最初的學習率太高了，之後它就陷入了局部最低點。在這一點上衰減學習率，一旦它已經陷入局部最低點，就不會幫助它逃脫這個最低限度。將初始學習率設置爲較低的值更有可能是有益的，這樣您就不會以最初的「糟糕的」本地最小值爲結果。

您的模型現在可能不足並且模型更復雜（例如隱藏層中的更多節點）會有所幫助。但情況並非如此。

您是否使用任何技術來避免過度配合？例如，正規化和/或輟學？如果是這樣，那麼您的模型最初也可能是過度擬合（當損失正在下降時，在它再次恢復之前）。爲了更好地瞭解發生了什麼事情，不僅要繪製您在訓練數據上的損失，而且還要驗證驗證集的損失將是有益的。如果訓練數據的損失大大低於驗證數據的損失，那麼您就知道這是過度擬合。