如何爲我的張量流模型選擇優化器？

Question

Tensorflow似乎擁有大量的優化程序，是否有任何高級指南（或評論文章），哪一個最適合特定類別的損失函數？

Answer 1

這取決於你的數據集和NN模型，但一般來說，我會從亞當開始。本文中的圖2（http://arxiv.org/abs/1412.6980）顯示Adam運作良好。

另外，還可以從 http://www.denizyuret.com/2015/03/alec-radfords-animations-for.html看到一個非常漂亮的動畫。