神經網絡連續tanh-sigmoid激活函數和隨機權重

Question

我真的需要幫助在一個非常基本的神經網絡中實現連續的tanh-sigmoid激活函數。如果你可以給出一個很好的基本例子，但如果你可以在我的source code中改變它，我會非常感激！而且，隨機權重應以什麼範圍開始（即什麼範圍）？

Answer 1

重量範圍取決於您擁有的輸入數據範圍。在一些實現中，權重也可以是負的。

對於可能乙狀結腸功能，點擊這裏（正切不是唯一的可能性）：

http://en.wikipedia.org/wiki/Sigmoid_function

提示：您可以用通常矩陣乘法計算NN。

http://www.dtreg.com/mlfn.htm

http://en.wikipedia.org/wiki/Neural_network

P.S：可能不是一個好主意，在JavaScript來做到這一點。

---

你可以通過EXP（x）的實現它，請參閱：http://www.javascripter.net/faq/mathfunc.htm

  sinh(x) exp(x) - exp(-x)  exp(2x) - 1 
tanh(x) = ------- = ------------------ = ------------- 
      cosh(x) exp(x) + exp(-x)  exp(2x) + 1 

，讓你：

function tanh(x) { 
    e = Math.exp(2*x); 
    return (e - 1)/(e + 1) ; 
}; 

另一個解決方案是將一個表的正切函數值，並定義一個JavaScript函數，該函數根據存儲在數組中的tanh值插值x的tanh值

---

通常人們不希望[-inf ... + inf]作爲輸入值的範圍，並且不希望[-1 ... + 1]作爲輸出值的範圍 - - 因此你可能需要一個不同的sigmoid函數！

您需要取預期的輸入值範圍和輸出值的預期範圍，並使用它們來移動實際的S形函數，權重範圍和閾值。

通常使用0.7或更大的閾值。你需要嘗試一下。

Answer 2

this.output = 2/(1 + Math.exp(-2 * input)) - 1;