第一部分:为什么要使用梯度更新规则 在介绍梯度消失以及爆炸之前,先简单说一说梯度消失的根源—–深度神经网络和反向传播。目前深度学习方法中,深度神经网络的发展造就了我们可以构建更深层的网络完成更复杂的任务,深层网络比如深度卷积网络,LSTM等等,而且最终结果表明,在处理复杂任务上,深度网络比浅层的网络具有更好的效...
首先，梯度消失与爆炸的根源在于深度神经网络和反向传播机制。深层网络的复杂性导致了反向传播过程中梯度信息的衰减或膨胀。优化神经网络的目标在于找到参数使其损失函数达到极小值点，梯度下降法是常用策略。深层网络由多层非线性函数堆叠而成，每一层的梯度计算是链式求导的结果。梯度消失通常发生在深层网络中...
解决深度学习中梯度消失与爆炸问题的关键在于选择合适的损失函数、激活函数以及训练策略。预训练、正则化、激活函数选择、BatchNorm与残差结构等方法在实践中得到了广泛应用，有效提升了深度学习模型的训练效果与泛化能力。