tf.train.GradientDescentOptimizer是否爲香草GradientDescent？

Question

是tf.train.GradientDescentOptimizer香草漸變下降？即不是SGD，所以它相當於在numpy中實現的漸變更新。

Answer 1

是的，這是香草梯度下降。你不能說它不是SGD。因爲這取決於你在訓練單個時代時考慮的例子數量。

這意味着如果您只爲一個時期使用一個小批量（理想情況下是一個單一實例，但最小批量也行）數據，我們稱之爲SGD。

在功能上它應該相當於numpy的實現。