在少於10層的網絡中使用跳過連接有意義嗎？

Question

我在閱讀ResNet論文中有關跳過層連接的內容，以及它們如何在培養非常深的網絡方面有所幫助。

在小於10層的較小（即AlexNet-like）網絡中使用這種連接是否合理？

Answer 1

不是，因爲它們的主要目的是通過網絡改進梯度流程，這實質上增加了容量而不增加參數的數量。但是，如果一個小型網絡具有足夠的容量用於您的用例，那麼您並不需要更多容量。