上述算法很简单,第一步,找到下降方向,根据\nabla f(x^(k)) \Delta x^(k) < 0这个条件来确定方向(其中\Delta x^(k)=-\nabla f(x^(k)是可选的方向之一,这就是梯度下降的方向);第二步,用线搜索(line search)找一个步长;第三步更新最小化序列。 若在上述算法中的第一步,下降方向选择\Delta x^(...
,若每次梯度下降的步长都固定,则可能出现左图所示的情况,无法收敛。若每次步长都很小,则下降速度非常慢,需要很多轮的迭代,如右图所示。所以步长的选择和收敛速度是一个取舍关系。 于是,有了一种可调节步长的解法,称为backtracking line search。 假设我们当前的位置为Xc并且要在d方向上寻找更优的解,那么问题就变为...
假设优化函数为,若每次梯度下降的步长都固定,则可能出现左图所示的情况,无法收敛。若每次步长都很小,则下降速度非常慢,需要很多轮的迭代,如右图所示。所以步长的选择和收敛速度是一个取舍关系。 于是,有了一种可调节步... KK4SBB 0 5695 Line Search and Quasi-Newton Methods ...
By searching the step along the path and using interiorbacktrackingline search technique,the trust region subproblem can be approximately solved. 进一步使用路径搜索并结合内点回代线搜索技巧,近似地求解信赖域子问题;最后在合理的假设条件下,证明了算法具有整体收敛性。