一、L-BFGS 牛顿法(迭代求驻点,一般驻点就是我们损失函数的最优点, Xk+1=Xk−F′(Xk)/F″(Xk) ,但是二阶导数通常比较难求),BFGS(迭代求牛顿法里的参数,二阶导数的倒数,公式比较复杂,可以理解为从梯度下降逐步转换为牛顿法求解的一个算法,但是有个缺点就是其中的迭代矩阵较大,存储不易)。 L-BFGS(受限...
算法分析：L-BFGS、GD和Adam的深入探讨L-BFGS算法，作为牛顿法的优化，它试图通过迭代求解二阶导数的倒数，类似于从梯度下降逐渐转向牛顿法。然而，其缺点在于需要存储较大的迭代矩阵，可能导致存储困难。受限BFGS（L-BFGS）通过存储少量信息，如部分矩阵元素，以减少存储空间，但对参数量大的问题可能带来计...