如何在Pytorch中實現每個內存塊有多個單元的LSTM層？

Question

我打算在Pytorch中實現一個帶有多個存儲單元塊 - 或多個LSTM單元的LSTM，每個層都有一個LSTM單元作爲存儲器塊的集合及其門 - 但似乎基類torch.nn.LSTM只能實現與一個LSTM單元的多層LSTM每層：

lstm = torch.nn.LSTM(input_size, hidden_size, num_layers) 

其中（從Pytorch的文檔）：

• input_size是網絡的輸入維數，
• hidden_size是隱藏的第一爲每層（即每層）的尺寸，
• num_layer是網絡層的數目

於是，從上方，每個LSTM單元具有恰好一個電池（每個LSTM單元的單元狀態因此標量）因爲對於每個層，單元狀態的維度對應於隱藏狀態的維度（即hidden_size）。

然而，在由Hochreiter和施米德休 [1997]，每塊LSTM提出的原始模型LSTM /單元可以包含幾個細胞： LSTM Network [Hochreiter, 1997]

有沒有辦法這樣做呢？

Answer 1

爲了我的理解，兩個LSTM-Cells如常連接。圖2在本文的說明中，說以下內容：

...（請注意，通過90度旋轉逆時針圖1，它將匹配與對應的圖2的份）...

圖2中的圖很可能很難解釋，但它應該是一個帶有hidden_​​layer輸入和狀態的LSTM。