訓練期間神經網絡的零值權重是否保持爲零？

Question

我已經看到，https://www.quora.com/If-one-initializes-a-set-of-weights-in-a-Neural-Network-to-zero-is-it-true-that-in-future-iterations-they-will-not-be-updated-by-gradient-descent-and-backpropagation 說，零值權重將保持爲零的所有迭代。

然後我將一些權重初始化爲零，但是在訓練後它們不再是零。

我使用keras和initilizer來使權重爲零。優化器是sgd或adam。

有人可以解釋嗎？非常感謝！

Answer 1

不，這是不正確的。權重的實際值並不重要，重要的是成本函數偏重於權重。如果該導數爲零，則梯度下降算法無法更新此權重。這是一個已知的ReLUs問題，可能會導致死亡的神經元。這就是爲什麼其他非線性經常是首選的，例如Leaky ReLUs或ELU。