如何在不再需要時釋放張量？

Question

我有具有一系列計算如下假想曲線圖：

a_0 = tf.placeholder() 
a_1 = some_op_1(a_0) 
a_2 = some_op_2(a_1) 
a_3 = some_op_3(a_2) 

觀察到計算a_3時; a_0和a_1不需要，因此可以在爲a_3分配內存之前丟棄它們。有什麼辦法可以要求TensorFlow執行這種內存優化（同意有一些時間成本）？

請注意，這與this有關僅在需要時分配內存的問題不一樣。

編輯：這個網絡不會被訓練，所以不要擔心backprop。

Answer 1

TensorFlow使用引用計數來釋放張量不再使用時所用的內存。 a_0和a_1的值將在沒有更多引用時立即刪除，並且在TensorFlow的最新版本（1.0版後夜版本）中，如果某些操作具有相同的輸入緩衝區形狀和元素類型。