TensorFlow - GPU加速只用於培訓？

Question

利用TensorFlow的GPU加速技術可以提高模型訓練的速度，還可以在數據模型上提高速度。
大多數指南僅討論如何將GPU加速用於培訓目的。

它也可以與任何TensorFlow Models？即使那些通過shell腳本運行？
另外，它會默認運行在shell腳本上還是需要顯式編碼才能使其工作。

Answer 1

它適用於兩者，是的，即使在沒有訓練的情況下也應該更快地使用模型（除非模型非常簡單，並且將其放置在GPU上的開銷超過了性能成本）。我確實認爲使用GPU對於評估模型來說不是那麼必要。在經常訓練數據時，將數據組合在一起，以便每個訓練步驟包含模型的多次運行。此外，需要計算的梯度需要大量的計算時間和內存。訓練期間還需要更新權重。因此，簡單地向前傳球要快得多。我真的認爲如果你需要立刻製作一大堆前鋒傳球，你會看到一個好處。

至於通過shell腳本運行tensorflow模型，我會假設他們是否在GPU上訓練，他們也會在GPU上運行。