在線培訓

Question

在this文章神經網絡進行訓練在線 - 輸入訓練時選擇：

這可以通過從內選擇硬盤 正/負範例來完成小批量。

有人可以詳細解釋在線培訓嗎？

Answer 1

在線學習描述了一次只能訓練一個模型的輸入，或者一次只能訓練一個模型。通常使用在線學習是因爲數據來自數據流，或者數據太大而無法一次保存在內存中。

一次訓練一個例子，通常會採取更多步驟來達到與離線訓練相同的準確度，因爲您無法針對每個步驟中的整個數據集優化丟失功能。

但是，您鏈接的論文使用在線學習來智能地選擇幾次訓練樣本，以加快模型的收斂速度。他們的方法試圖選擇當前模型最難處理的例子，這樣模型可以在每個訓練步驟中發揮最大的作用。