我正在研究訓練相對較大的RNN(128單元LSTM和一些添加圖層)的代碼。主要過程是在CPU上充滿核心,我想知道這是否正常或我是否可以優化它。在訓練循環(session.run調用)期間,它使用大約60-70%的GPU負載,同時在一個內核上使用100%的CPU負載。請注意,數據採樣工作已在其他內核上同時完成,因此它只是更新了模型參數。這對於TensorFlow中的這些應用程序來說是否正常,或者在使用GPU的全部容量時,CPU負載是否要低得多?TensorFlow RNN培訓100%的CPU,而只使用60%的GPU
0
A
回答
0
我們沒有關於它的完整文檔,但你可以在分析信息來看看,看看它給你更多,其中時間是要的一個想法: https://github.com/tensorflow/tensorflow/issues/1824#issuecomment-225754659
0
我想RNN單元有兩個輸入,當訓練數據時它必須等待那兩個方向輸入,換句話說,它優化並行性並不像CNN那麼容易。您可以使用大批量來提高GPU利用率,但也許會導致其他問題,如紙張關於深度學習的大批量培訓:泛化差距和夏普極小值。
相關問題
- 1. TensorFlow - GPU加速只用於培訓?
- 2. GPU + CPU Tensorflow訓練
- 3. Tensorflow RNN培訓不會執行?
- 4. 慢tensorflow培訓和評估GPU
- 5. Tensorflow Slim Imagenet培訓
- 6. Tensorflow:在GPU和CPU
- 7. 谷歌tensorflow objectdetection培訓
- 8. tensorflow損失楠同時培養了RNN
- 9. TensorFlow-Slim多GPU訓練
- 10. Tensorflow:鋼釘變量CPU在Multigpu培訓工作不
- 11. Tensorflow沒有看到GPU而是使用了CPU,怎麼樣?
- 12. 3darray訓練/測試TensorFlow RNN LSTM
- 13. 分佈式Tensorflow,Master在培訓時卡住了,工作人員沒有開始培訓,而使用SyncReplicasOptimizer和MonitoredTrainingSession?
- 14. Python的Tensorflow運行在GPU代替CPU
- 15. Tensorflow 1.0培訓模式使用指數級更多的空間
- 16. Tensorflow分批培訓數據批量
- 17. 培訓tensorflow崩潰計算機
- 18. Tensorflow SEQ2SEQ培訓突然超慢
- 19. Tensorflow培訓/驗證損失nan問題
- 20. 通過Tensorflow進行培訓和預測
- 21. Tensorflow如何讓培訓步長值
- 22. 再培訓以來
- 23. Tensorflow多GPU訓練和可變範圍
- 24. 使用夜間TensorFlow構建與Cloud ML引擎進行培訓
- 25. 上一批培訓
- 26. TensorFlow:圖形優化(GPU vs CPU性能)
- 27. 使用CPU 100%
- 28. 使用CPU vs GPU來訓練模型 - 速度vs內存
- 29. Tensorflow:在GPU上運行訓練階段並在CPU上測試階段
- 30. tensorflow:在一個GPU上訓練網絡,但佔用另一個GPU的空間
有趣...我正在做一些培訓,只使用30%的CPU和25%的CPU,並尋找答案,爲什麼它不會使兩者中的任何一個飽和。 – Trejkaz