- 损失函数 Loss Function 通常是针对单个训练样本而言,给定一个模型输出和一个真实,损失函数输出一个实值损失 - 代价函数 Cost Function 通常是针对整个训练集(或者在使用 mini-batch gradient descent 时一个 mini-batch)的总损失 - 目标函数 Objective Function 是一个更通用的术语,表示任意希望被优化的函数,用于...
由于损失函数和代价函数只是在针对样本集上有区别,因此在本文中统一使用了损失函数这个术语,但下文的相关公式实际上采用的是代价函数 Cost Function 的形式,请读者自行留意。 均方差损失 Mean Squared Error Loss 基本形式与原理 均方差 Mean Squared Erro...
基本形式与原理 均方差 Mean Squared Error (MSE) 损失是机器学习、深度学习回归任务中最常用的一种损失函数,也称为 L2 Loss。其基本形式如下 从直觉上理解均方差损失,这个损失函数的最小值为 0(当预测等于真实值时),最大值为无穷大。下图是对于真实值 ,不同的预测值 的均方差损失的变化图。横轴是不同的预测...