3
我正在訓練LSTM網絡，我期望瞭解有關長序列，O（1k）或更長的訓練的最佳做法。選擇小批量尺寸的好方法是什麼？標籤流行率如何影響這一選擇？ （在我的情況下，積極因素很少見）。努力重新平衡我的數據是否值得？ 謝謝。在長序列上訓練RNN
A
回答
2
你可能想重新平衡，所以他們是50/50。否則，它會傾向於某個班級或另一個班級。
至於批量大小，我會盡可能大，以適應內存。
我不確定LSTMs能夠學習O（1k）的依賴關係，但值得一試。如果你想要超長的依賴關係，你可以考慮做一些像wavenet一樣的事情。
https://deepmind.com/blog/wavenet-generative-model-raw-audio/
相關問題
- 1. RNN未訓練（PyTorch）
- 2. 3darray訓練/測試TensorFlow RNN LSTM
- 3. 機器學習的非平衡訓練數據（CNN/RNN）
- 4. 如何解釋RNN的奇怪訓練曲線？
- 5. 在Theano訓練MLP
- 6. 如何在MATLAB上開始SVM訓練
- 7. 在openai cartole上訓練tensorflow模型
- 8. 在python wrraper caffe上訓練網絡？
- 9. Tensorflow while_loop訓練
- 10. Caffe Net不訓練（損失不會在訓練時改變）
- 11. 如何在使用Caffe訓練時獲得訓練錯誤？
- 12. 一對一地訓練scikit svm（在線或隨機訓練）
- 13. 是否有一些用於時間序列預測的預先訓練的LSTM，RNN或ANN模型？
- 14. 1）從整個訓練集中訓練CNN和2）訓練集中的訓練集，然後是整個訓練集之間的區別是什麼？
- 15. 在CNTK中訓練神經網絡的加權採樣序列
- 16. Tensorflow重新訓練在Windows
- 17. Keras LSTM不訓練
- 18. GPU + CPU Tensorflow訓練
- 19. NLP模型訓練
- 20. CvNormalBayesClassifier訓練錯誤
- 21. LSTM訓練模式
- 22. mxnet：如何使用訓練有素的RNN模型進行預測
- 23. 什麼時候NCE是比softmax更好的選擇（訓練RNN LM）
- 24. 無法訓練LUIS應用程序
- 25. WEKA的多層感知器：訓練然後再訓練
- 26. FCN中的補丁明智訓練和完全卷積訓練
- 27. 加載訓練有素的Keras模型並繼續訓練
- 28. 使用API訓練和重新訓練斯坦福標記器
- 29. Tensorflow RNN培訓不會執行？
- 30. RNN序列檢索或cntk