最佳神經網絡優化算法

Question

我正在尋找神經網絡優化中的4個最佳算法。我需要名稱和任何描述，學習方法和拓撲結構對我非常有幫助。 我認爲多層感知器（MLP）是其中之一，但我不確定。

謝謝大家。

Answer 1

你的問題真的很廣泛。很難回答，因爲不同的優化者有其優點和缺點。我想說，在今天最優秀的優化器中，你會發現有ADAM，RMSPROP，ADAGRAD和SGD的Nestov勢頭。你可以閱讀這些方法（以及其他）here。

Answer 2

首先，我認爲，這個問題確實是太寬泛，但是，我想補充一些resorces我本人來說認爲是在幫助我回答這個問題有用。在這樣做的時候，我希望這些資源能夠幫助其他人，就像他們幫助我一樣。他們是：

• Sebastian Ruder Mod Yu Zeng的blog post。
• 阿尼什·辛格瓦利亞的討論on this topic。
• 由古德費洛，約書亞·本焦和亞倫庫維爾深學習書Chapter 8。
• This post由阿德里安Colyer晨報。

我希望這可以幫助別人。