SGD的优点是实现简单、效率高，缺点是收敛速度慢、容易陷入局部最小值。
sgd优化器和Adam优化器之间的区别 Adam = Adaptive + Momentum,顾名思义Adam集成了SGD的一阶动量和RMSProp的二阶动量。 参考: https://blog.csdn.net/q295684174/article/details/79130666
Google Brain提出优化器"Lion"在性能上超越了Adam(W)。Lion在内存使用效率和运行速度方面优于AdamW和其他自适应优化器。它只需存储动量，比AdamW减少一半的内存占用，对训练大型模型和大批量数据特别有用。例如，训练图像尺寸为224、批量大小为4096的ViT-B/16模型，AdamW至少需要16个TPU V4芯片，而Lion只...
SGD是随机梯度下降法，是最基本的优化器。Adam是一种自适应学习率的方法。以SGD作为最初的算法，Momentum在其基础上加入了一阶动量（历史梯度的累计）， AdaGrad和RMSProp在其基础上加入了二阶动量（历史梯度的平方累计），Adam就是结合了SGD的一阶动量和RMSProp的二阶动量算法。
个人实践，Adam和SGD组合效果会比较好，在多分类任务中SGD求解缓慢的时候可以时候，可以先使用Adam快速度过...
使得SGD收敛好。在数据统计特性不好，变化大，误差曲面复杂的时候，优先使用傻瓜算法ADAM ...
SGD是随机梯度下降法，是最基本的优化器。Adam是一种自适应学习率的方法。以SGD作为最初的算法，...
论文结论是训练同一个nanoGPT模型，使用优化器Sophia比Adam速度快2倍。
优化器对ACC影响也挺大的，比如上图Adam比SGD高了接近3个点。故选择一个合适的优化器也很重要。Adam...