爲什麼無監督模型需要實現nn.diag？

Question

我想學習深度學習。

在火炬教程，

https://github.com/torch/tutorials/blob/master/2_supervised/2_model.lua

https://github.com/torch/tutorials/blob/master/3_unsupervised/2_models.lua

監督模式

-- Simple 2-layer neural network, with tanh hidden units 
model = nn.Sequential() 
model:add(nn.Reshape(ninputs)) 
model:add(nn.Linear(ninputs,nhiddens)) 
model:add(nn.Tanh()) 
model:add(nn.Linear(nhiddens,noutputs)) 

無監督模式

-- encoder 
encoder = nn.Sequential() 
encoder:add(nn.Linear(inputSize,outputSize)) 
encoder:add(nn.Tanh()) 
encoder:add(nn.Diag(outputSize)) 
-- decoder 
decoder = nn.Sequential() 
decoder:add(nn.Linear(outputSize,inputSize)) 
-- complete model 
module = unsup.AutoEncoder(encoder, decoder, params.beta) 

爲什麼無監督模型需要實現nn.Diag？

在此先感謝。

Answer 1

它實際上是一個可學習向量（矩陣的對角線）的縮放。這在文章Learning Fast Approximations of Sparse Coding的第3.1節中提到。它乘以tanh並一起形成非線性。