小批量FCN（語義分割）的概念是什麼？

Question

當我們發送一個圖像到FCN進行語義分割時，最小批次的概念是什麼？

數據層的默認值是batch_size: 1。這意味着每一次向前和向後傳遞一個圖像被髮送到網絡。那麼最小批量的尺寸是多少？它是一個圖像中的像素數量？

另一個問題是，如果我們一起發送幾張圖片到網絡上呢？它會影響收斂嗎？在一些論文中，我看到了20圖片的數量。

由於

Answer 1

批量大小是通過網絡中的單個訓練操作發送的圖像的數量。所有樣本將在一次突擊中計算出梯度，通過並行處理，在圖形卡或cpu羣集上進行訓練時，可以獲得較高的性能增益。

批量大小對培訓有多重影響。首先，它通過平均批次中的梯度來提供更穩定的梯度更新。這既是有益的也是有害的。根據我的經驗，這是更有利的，然後有害的，但其他人報告了其他結果。

爲了利用並行性，批量大小主要是2的乘方。所以要麼是8,16,32,64或128.最後，批量大小受圖形卡中VRAM限制。該卡需要將所有圖像和結果存儲在圖形的所有節點以及所有梯度中。

這會炸得很快。在這種情況下，您需要減少批量或網絡大小。