recurrent-neural-network

    4熱度

    2回答

    在Tensorflow的RNN教程中:https://www.tensorflow.org/tutorials/recurrent 。它提到了兩個參數:批量大小和時間步長。我對這些概念感到困惑。在我看來,RNN引入批次是因爲訓練序列可能非常長,反向傳播不能計算這麼長的時間(爆炸/消失梯度)。所以我們將長序列序列分成更短的序列,每個序列是一個小批量,其大小稱爲「批量大小」。我在這裏嗎? 關於時間步長

    0熱度

    1回答

    我得到了下面的一段爲TensorFlow序列分類代碼(請參見本quesiton結束的代碼): https://gist.github.com/danijar/c7ec9a30052127c7a1ad169eeb83f159 我需要修改代碼來解決我的二進制序列分類問題。 我的訓練輸入是一個CSV文件(非常大),CSV文件的格式是: binary_sequence(fixed sequence len

    3熱度

    2回答

    LSTM的注意機制是一個直接的softmax前饋網絡,它接收編碼器每個時間步的隱藏狀態和解碼器的當前狀態。 這些2個步驟似乎矛盾並且無法繞到我的頭: 1)需要被預先定義 2)編碼器的隱藏狀態的數量是可變的的輸入的前饋網絡的數量(取決於在編碼期間的時間步數)。 我誤會了什麼嗎?訓練與訓練常規編碼器/解碼器網絡一樣,還是需要單獨訓練注意機制? 由於提前

    0熱度

    1回答

    我是一個新的keras用戶,我想要輕鬆理解如何構建lstm模型。 在我的數據,我有很多的用戶,其中有許多序列,如下: user 1 : X Labels sequence 1 [ 0, 1 , 0, 1] sequence 2 [ 0, 1 , 0, 1] sequence 3 [ 0, 1 , 0, 1 sequence 4 ? u


    4熱度

    2回答

    我有一個聊天應用程序,可以使用預定義的消息。數據庫有大約80個預定義的會話,每個會話有5個可能的響應。爲了澄清,這裏有一個例子: Q: "How heavy is a polar bear?" R1: "Very heavy?" R2: "Heavy enough to break the ice." R3: "I don't know. Silly question." R4: ...

    0熱度

    1回答

    我試圖用循環神經網絡來預測單詞。 我正在訓練網絡,將獨立預訓練的word2vec字作爲輸入。 我想知道是否可以使用目標詞的word2vec來計算錯誤代價。 它似乎不工作,我從來沒有見過這樣的例子或論文。 是否可以使用word2vec作爲計算錯誤成本的目標值? 如果是這樣,我應該使用什麼樣的成本函數? 如果不是,請以數學方式解釋原因。 我應該如何設置輸入和目標? 現在我使用的架構如下圖所示: inp

    0熱度

    1回答

    我會通過使用對巴比數據集keras存儲網絡下面的代碼 - '''Trains a memory network on the bAbI dataset. References: - Jason Weston, Antoine Bordes, Sumit Chopra, Tomas Mikolov, Alexander M. Rush, "Toward

    1熱度

    1回答

    這些天我研究了一些關於RNN和老師強迫的事情。但有一點我不明白。讀數和教師強迫的原則是什麼?通過將輸出與此步驟的輸入一起使用,或者將輸出用作此步驟的單元狀態,我們如何能夠將RNN的輸出(或地面實況)從前一時間步驟反饋回當前時間步驟?我讀過一些論文,但仍困惑着我。(╯□╰)o。希望有人能爲我解答。

    1熱度

    1回答

    我對神經網絡很陌生,想知道爲什麼所有RNN的例子,特別是char-rnns都使用交叉熵損失函數作爲它們的損失函數。我已經使用了Google,但似乎無法在這方面討論任何功能。我被要求激勵它的使用,並且看它的優點和缺點,所以任何我可以通讀的論文或來源都會受到重視。