内容提示: 分类号: O224 密级:公开研 究生学位论 文论文题目 ( 中文 ) Barzilai-Borwein 梯度法及其在优化算法中的应用论文题目 ( 外文 ) On the Barzilai-Borwein gradient methodand its applications in other optimization methods研 究生姓名郑燏 涛学 科、 专业 数学 ∙ 计算数学研 究方向 数值代数与...
通过采用Barzilai-Borwein梯度法,可以根据历史梯度信息来自适应地调整步长,加快参数搜索的速度,提高模型的收敛性。此外,Barzilai-Borwein梯度法还可以解决梯度消失或梯度爆炸等问题,提高深度神经网络的训练效果。 其次,Barzilai-Borwein梯度法在图像处理领域也有着重要的应用。图像处理中的许多问题,例如图像恢复、图像去噪和...
步长其对应的Barzilai-Borwein(BB)梯度法由于有较好的计算效果和收敛性,现 在已经发展成为求解大规模问题竞争力很强的一种方法,受到众多学者的广泛关 注.本文主要探讨新的BB型梯度算法及其在优化算法中的应用.主要内容包括 以下几个方面: 1.探寻新的BB型梯度算法.基于Ford和Moghrabi的多步拟牛顿方程,通过 修正原始...
求解对称矩阵最大特征值的Barzilai-Borwein法
Barzilai-Borwein Step Size for Stochastic Gradient DescentConghui Tan † Shiqian Ma † Yu-Hong Dai ‡ Yuqiu Qian §May 16, 2016AbstractOne of the major issues in stochastic gradient descent (SGD) methods is how to choosean appropriate step size while running the algorithm. Since the ...
Barzilai-Borwein迭代算法低复杂度在大规模多输入多输出系统中,最小均方误差(minimum mean square error, MMSE)算法能达到接近最优的线性信号检测性能,但是MMSE算法需要复杂的矩阵求逆运算,这限制了该算法的应用.为了降低运算复杂度,改进MMSE算法,利用Barzilai Borwein(BB)迭代算法来避免矩阵求逆运算,提出了结构简单的BB...
求解可分解强凸优化问题的 FISTA-Barzilai-Borwein 算法李 星 1 ,邓康康 1 ,李超 2【摘要】 针对一类可分解的强凸优化问题提出一种快速临近Barzilai-Borwein算法,采用 Barzilai-Borwein 步长作为快速迭代收缩 / 阈值(简称 FISTA-CD ) 算法中的步长因子,并给出合适的参数更新准则,从而加快算法的收敛速度。 在适当...
二阶锥规划的一种Barzilai—Borwein梯度算法
Barzilai-Borwein(BB)算法是一类含有二阶信息步长的梯度法,最早由Barzilai和Borwein在1988年提出.由于BB法结构简单,所需储存空间小,运行效率高.因此,直到现在,仍有不少专家学者在这个领域进行研究.本文我们主要介绍两种具有新步长的BB法.本文分四章:第一章,我们主要综述BB算法在国内外研究现状,以及算法的应用情况.第...
位场的向下延拓不仅仅能够提高地球物理数据解释的可靠性,在导航方面也有着重要的作用.为了进一步提高计算精度和速度,提出了位场向下延拓的Barzilai-Borwein(BB)法.首先证明了位场向下延拓的系数矩阵为对称的双重Toeplitz系统矩阵(block-Toeplitz-Toeplitz-block,BTTB);其次,假定该系数矩阵为正定的条件下,采用BB法迭代求解...