VII . 随机梯度下降法 VIII . 小批量梯度下降法 I . 梯度下降 Gradient Descent 简介 ( 梯度下降过程 | 梯度下降方向 ) 1 . 后向传播算法 : 针对每个数据样本 , 从输入层到输出层传播输入 , 这是向前传播输入 , 然后从输出层向输入层传播误差 , 这是向后传播误差 ; ② 权重和偏置更新 : 传播误差过程...
10 . 梯度下降算法本质 :对于当前的参数θ \thetaθ值 , 计算f ( θ ) f(\theta)f(θ)的梯度 , 即导数 / 斜率 ( 负的 ) ,在梯度的反方向 ( 正数方向 ) 走一个步长 , 然后继续向前传播输入 ,再次向后传播误差时 , 继续计算其θ \thetaθ值对应的梯度值 , 迭代N NN多次 , 即可得到使损失函数...