Adam相对SGD优化器强太多了，在对参数的初始化上，超参的设定上都有很大的优势。
SGD是随机梯度下降法，是最基本的优化器。Adam是一种自适应学习率的方法。以SGD作为最初的算法，Momentum在其基础上加入了一阶动量（历史梯度的累计）， AdaGrad和RMSProp在其基础上加入了二阶动量（历史梯度的平方累计），Adam就是结合了SGD的一阶动量和RMSProp的二阶动量算法。
Adam = Adaptive + Momentum,顾名思义Adam集成了SGD的一阶动量和RMSProp的二阶动量。 参考: https://blog.csdn.net/q295684174/article/details/79130666 ...
论文结论是训练同一个nanoGPT模型，使用优化器Sophia比Adam速度快2倍。
优化器对ACC影响也挺大的，比如上图Adam比SGD高了接近3个点。故选择一个合适的优化器也很重要。Adam...
SGD是随机梯度下降法，是最基本的优化器。Adam是一种自适应学习率的方法。以SGD作为最初的算法，...
介绍通过对比 SGDM 和 Adam，来说明他们各自优点，以及如何在实际项目中选择合适优化器 ...