變量_scope導致'變量不存在'與優化器

Question

我有兩個模型foo和bar。假設bar被預訓練並加載。我想爲foo定義成本函數，大致在下面的代碼中描繪出來（它實際上是一個自動編碼器）。請注意，這是重現我的問題的一個最小示例，因此它們在數學上沒有意義。

import tensorflow as tf 

def foo(X): 
     with tf.variable_scope("foo"): 
       A = tf.get_variable("A",shape=[1]) 
     return tf.add(X,A) 

def bar(X): 
     with tf.variable_scope("bar"): 
       B = tf.get_variable("B",shape=[1]) 
     return tf.multiply(X,B) 

X = tf.placeholder("float") 

X_prime = foo(X) 

Y = bar(X) 
tf.get_variable_scope().reuse_variables() 
Y_prime = bar(X_prime) 


#foo(X) is manipulated with some other terms, but the point is foo is called again 
cost = foo(X) + tf.pow(Y-Y_prime,2) 

optimizer = tf.train.AdamOptimizer(learning_rate=0.01).minimize(cost) 

如果我運行該腳本（TF 1.0版），我收到以下錯誤：

ValueError: Variable foo/A/Adam/ does not exist, or was not created with tf.get_variable(). Did you mean to set reuse=None in VarScope? 

然而，這並不GradientDescentOptimizer發生。任何解釋和指針，將不勝感激。

Answer 1

您的ValueError是由在variable_scope.reuse == True中創建新變量引起的。

變量由Adam創建，當您調用Adam的最小化函數時，可以節省圖形中每個可訓練變量的動量。

您已將重用設置爲True，因此默認variable_scope.reuse == True。一旦將其設置爲True，重用狀態不能永久變回False。然後，Adam在狀態重用== True的情況下創建變量，這會引發錯誤。

的解決方案是增加一個子範圍下圖的默認範圍，當您設置variable_scope.reuse = True，則默認scope.reuse還是假，和Adam.minimize將工作，如下：

import tensorflow as tf 
def foo(X): 
     with tf.variable_scope("foo"): 
       A = tf.get_variable("A",shape=[1]) 
     return tf.add(X,A) 

def bar(X): 
     with tf.variable_scope("bar"): 
       B = tf.get_variable("B",shape=[1]) 
     return tf.multiply(X,B) 

X = tf.placeholder("float") 

with tf.variable_scope("for_reuse_scope"): 
    X_prime = foo(X) 
    Y = bar(X) 
    tf.get_variable_scope().reuse_variables() 
    Y_prime = bar(X_prime) 


#foo(X) is manipulated with some other terms, but the point is foo is called again 
cost = foo(X) + tf.pow(Y-Y_prime,2) 

optimizer = tf.train.AdamOptimizer(learning_rate=0.01).minimize(cost)