2023-07-11 《数值优化方法》-庞丽萍,肖现涛-无约束最优化(六)数值优化方法Matlab共轭梯度法共轭方向法回顾上节的最速下降法的特征:最速下降法迭代路径呈锯齿状,即. 这一节给出共轭的概念,其是正交性的推广,然后给出共轭方向(梯度)法. **定义 1.7 ** 设是 对称正定
2023-07-06 《数值优化方法》-庞丽萍,肖现涛-无约束最优化(二)数值优化方法Matlab一维线搜索在(一)中我们提到过下降算法即是按照迭代, 其中为步长,为下降方向。在射线上寻求合适的步长,即所谓的一维线搜索,问题可表述为: 称在此最优意义下的步长为最优步长或精确线
2023-07-06 《数值优化方法》-庞丽萍,肖现涛-无约束最优化(一) Matlab优化概述 形如 的问题称为无约束最优化问题,注意到上述问题是定义在 上且 为实值函数。 对于上述优化问题首先需要明确的是最优解的概念。 定义1.1若对任意 ,不等式 成立,则称 是优化问题的全局极小解(或全局最优解)。进一步地,若对任意...
2023-07-07 《数值优化方法》-庞丽萍,肖现涛-无约束最优化(三)数值优化方法Matlab一维线搜索牛顿法抛物线法非精确线搜索 1. 牛顿法 书接上回,对于一维最优化问题, 牛顿法是在迭代点处进行二次泰勒展开来近似原函数,然后求泰勒展开式的极小点,具体如下 设为当前迭代点
2023-07-08 《数值优化方法》-庞丽萍,肖现涛-无约束最优化(五) Matlab最速下降法 考虑无约束最优化问题 其中 是一阶连续可微的 (记作 ), 也就具有连续的一阶偏导数. 最速下降法的基本思想正如其名字一样,就是在当前迭代点 处寻找一个使目标函数下降最快的方向. 这样的方向由下述问题(下降量) ...
2023-07-08 《数值优化方法》-庞丽萍,肖现涛-无约束最优化(四) 数值优化方法Matlab一维线搜索非精确线搜索ArmijoGoldsteinWolfe多维搜索 前面我们学习的二分法、成功-失败法、牛顿法、抛物线法都是精确求解一维问题 , 其中 . 回到我们一开始的线搜索方法的目标是求解 ...