如何在不同的GPU上訓練與tensorflow並行的多網絡？

Question

我想在3個GPU上並行訓練3個不同尺度的網絡，然後合成這些輸出。 （張量流）

我是否需要爲每個網絡創建圖形和相應的會話？以及如何使這些會話同時運行而不是按順序運行？

Answer 1

我是否需要爲每個網絡創建圖形和相應的會話？

是的，因爲網絡不完全相同，需要單獨的圖形和會話來創建。

如何讓這些會話同時運行而不是按順序運行？

假設你有三個培訓腳本train_graph1.py，train_graph2.py，train_graph3.py。您需要同時單獨運行所有這些腳本以同時運行。

CUDA_VISIBLE_DEVICES=0, train_graph1.py .... 
CUDA_VISIBLE_DEVICES=1, train_graph2.py .... 
CUDA_VISIBLE_DEVICES=2, train_graph3.py ....