反向傳播不工作的XOR

Question

我一直在學習反向傳播過去的兩個星期，做了數學背後，以爲我瞭解的話題不夠好，我自己的實現（沒有任何線性代數軟件包等）。顯然，我錯了。下面你可以找到我能想到的最簡單的示例網絡：2個隱藏單元和1個輸出單元。我嘗試學習XOR函數。但是，這根本不起作用。預測總是在0.5左右。我不確定我在哪裏搞砸了。也許有人可以幫忙？

float sigmoid(float pX) { 
    return 1.0f/(1.0f+exp(-1.0f*pX)); 
} 

int main(int argc, char const *argv[]) { 
// DEFINE XOR problem 
float examples[4][2] = { {0,0} , {0,1}, {1,0}, {1,1}}; 
float labels[4] = {0, 1, 1, 0}; 

/* I want to use a network with two hidden neurons and 1 output neuron 
*/ 

// Weights from input to hidden neurons 
float WInput[2][2]; 
float WInputBias[2]; 

// Weights from hidden to output neuron 
float WOutput[2]; 
float WOutputBias; 

// output of hidden layer to output neuron 
float hidden[2]; 

// error for hidden layer 
float error[2]; 

//output of network 
float yPred; 

// randomly init weights 
std::random_device rd; 
std::mt19937 gen(rd()); 
std::normal_distribution<float> d(0, 0.1); 
WInput[0][0] = d(gen); WInput[0][1] = d(gen); 
WInput[1][0] = d(gen); WInput[1][1] = d(gen); 
WInputBias[0] = d(gen); WInputBias[1] = d(gen); 
WOutput[0] = d(gen); WOutput[1] = d(gen); WOutputBias = d(gen); 

// do the learning 
for(unsigned int i = 0; i < 1000; ++i) { 
    for (unsigned int k = 0; k < 4; ++k) { 
     float * input = &examples[k][0]; 
     float label = labels[k]; 

     // Compute forward pass 
     hidden[0] = sigmoid(WInput[0][0]*input[0] + WInput[1][0]*input[1] + WInputBias[0]); 
     hidden[1] = sigmoid(WInput[0][1]*input[0] + WInput[1][1]*input[1] + WInputBias[1]); 
     yPred = sigmoid(WOutput[0]*hidden[0] + WOutput[1]*hidden[1] + WOutputBias); 

     std :: cout << "Target/Prediction: " << label << "/" << yPred << std :: endl; 

     // Backward pass with alpha = 0.1 
     float outputError = -(label - yPred)*yPred*(1-yPred); 
     WOutput[0] = WOutput[0] - 0.1f*outputError*hidden[0]; //hidden equals input from this layer 
     WOutput[1] = WOutput[1] - 0.1f*outputError*hidden[1]; 
     WOutputBias = WOutputBias - 0.1f*outputError; 

     error[0] = (WOutput[0]*outputError)*hidden[0]*(1-hidden[0]); 
     error[1] = (WOutput[1]*outputError)*hidden[1]*(1-hidden[1]); 

     WInput[0][0] = WInput[0][0] - 0.1f*error[0]*input[0]; 
     WInput[1][0] = WInput[1][0] - 0.1f*error[0]*input[1]; 
     WInput[0][1] = WInput[0][1] - 0.1f*error[1]*input[0]; 
     WInput[1][1] = WInput[1][1] - 0.1f*error[1]*input[1]; 
     WInputBias[0] = WInputBias[0] - 0.1f*error[0]; 
     WInputBias[1] = WInputBias[1] - 0.1f*error[1]; 

    } 
    std :: cout << std :: endl; 
    // getch(); 
} 
} 

Answer 1

我已經採取了另一種外觀和代碼，並與一些參數發揮各地，並且事實證明，所有的代碼實際上是正確的。

問題是，只有2個隱藏節點，這個問題很難學，而且你使用的時期數（1000）與你使用的學習速率（0.1）相結合，僅僅意味着它還沒有收斂。

試着讓它訓練大約4000-6000個紀元（或者，最好是，直到你的錯誤的絕對值降到某個閾值以下），然後試着將權重更新加1.0而不是0.1。那麼你應該得到更好的結果。

它也可能有助於隨機初始化的權重爲位於[-0.1，0.1]而不是[0.0，0.1]。儘管如此，這不應該產生巨大的影響。