而对于我们这里即将介绍的神经网络中的优化算法,我们知道机器学习的优化(目标),简单来说是:搜索模型的一组参数 w,它能显著地降低代价函数J(w),该代价函数通常包括整个训练集上的性能评估(经验风险)和额外的正则化(结构风险)。与传统优化不同,它不是简单地根据数据的求解最优解,在大多数机器学习问题中,我们关注的...