神經網絡乙狀結腸激活與偏見更新

Question

我想弄清楚，如果我正在創建一個人工神經網絡使用乙狀結腸激活功能和正確使用偏見。我想要一個偏置節點輸入到靜態輸出-1與其權重相結合的所有隱藏節點，然後一個輸出到靜態輸出-1與其權重組合。然後，我可以像訓練其他神經元一樣訓練這些偏見，對嗎？！

Answer 1

這是一個正確的推理，但它是相當罕見設置「-1」的值（爲什麼不+1？），我從來沒有在文獻中看到過這一點。如果您維護正確的圖結構，則「更新實際」節點和「偏好節點」的權重之間沒有差別。如果你不存儲圖形結構，並且你不知道偏差（連接到輸出節點的那個）沒有「子節點」，所以信號沒有「反向傳播」到網絡的更深處。我已經看到過這樣的代碼，它們將圖層簡單地存儲爲數組，並且它們在索引0處放置偏移，以便在反向傳播期間從1開始迭代。很顯然，基於圖形的實現更具可讀性（然而，由於無法對計算進行矢量化，速度會更慢）。