如何檢測文本編輯是否過度擬合？

Question

我正在使用Tensorflow 0.9並使用Textsum模型進行培訓。我有大約130萬篇文章，我現在颳了大約一週，並且已經對他們進行了培訓。平均損失約爲1.75 - 2.1。我決定停止和運行eval，因爲我的理解是，我的平均損失應該接近我通過培訓獲得的。當我運行eval時，我看到2.6到2.9的平均損失。我只是想知道我在執行這個運行時應該看到什麼。

我是否正確使用此培訓/評估分析？我對深度學習有點新，並試圖用這種方式來學習，並通過其他一些閱讀，似乎這可能是兩者之間的大分散。

對於不同的數據集進行評估是否存在標準容差以及平均損失的差異應該是多少？在這一點上，我不確定我是否應該繼續訓練或暫時停下來，並試圖找出如何在張力流服務中獲得此運行。我不想過度適應模型，但從學術的角度來看，假設我通過培訓過度適應。我需要做些什麼來「修復」它？你現在是否只是獲得了更多的文章，並將這些數據作爲培訓加入;或者模型本質上已經破裂並且無法使用？

Answer 1

無法保證eval損失將與培訓損失相匹配。過度擬合很難衡量，但如果隨着培訓的進行，評估損失正在增加，這是一個明顯的跡象。