三种loss的曲线图如图所示,可以看到Smooth L1相比L1的曲线更加的Smooth 缺点: 上面的三种Loss用于计算目标检测的Bounding Box Loss时,独立的求出4个点的Loss,然后进行相加得到最终的Bounding Box Loss,这种做法的假设是4个点是相互独立的,实际是有一定相关性的 实际评价框检测的指标是使用IOU,这两者是不等价的,多个...
对于大多数CNN网络,一般使用L2 loss,而不是L1 loss。因为L2收敛快。 对于边框预测回归问题,通常也可以选择L2,但是存在离群点时,离群点会占loss主要部分。比如说真实值为1,预测10次,有一次预测值为1000,其余次的预测值为1左右,显然loss值主要由1000决定。所以FastRCNN采用稍微缓和一点绝对损失函数(smooth L1损失)...
smooth L1损失函数曲线如下图所示,作者这样设置的目的是想让loss对于离群点更加鲁棒,相比于L2损失函数,其对离群点(指的是距离中心较远的点)、异常值(outlier)不敏感,可控制梯度的量级使训练时不容易跑飞。 在这里插入图片描述
smoothL1(x)={0.5x2if|x|<1|x|−0.5 smooth L1损失函数曲线如下图所示,作者这样设置的目的是想让loss对于离群点更加鲁棒,相比于L2损失函数,其对离群点(指的是距离中心较远的点)、异常值(outlier)不敏感,可控制梯度的量级使训练时不容易跑飞。 smooth L1损失函数曲线 四、总结 从上面可以看出,该函数实际...
三种loss的曲线图如图所示,可以看到Smooth L1相比L1的曲线更加的Smooth 缺点: 上面的三种Loss用于计算目标检测的Bounding Box Loss时,独立的求出4个点的Loss,然后进行相加得到最终的Bounding Box Loss,这种做法的假设是4个点是相互独立的,实际是有一定相关性的 ...
对于大多数CNN网络,我们一般是使用L2-loss而不是L1-loss,因为L2-loss的收敛速度要比L1-loss要快得多。 对于边框预测回归问题,通常也可以选择*方损失函数(L2损失),但L2范数的缺点是当存在离群点(outliers)的时候,这些点会占loss的主要组成部分。比如说真实值为1,预测10次,有一次预测值为1000,其余次的预测值为...
L1 loss曲线.jpg L2 loss 均方误差(MSE),二次损失 均方误差是最常用的回归损失函数,它是我们的目标变量和预测值的差值平方和。 L2 loss公式 L2 loss.jpg 下图是均方误差函数图,其中目标真值为100,预测值范围在-10000到10000之间。均方误差损失(Y轴)在预测值(X轴)=100处达到最小值。范围为0到∞。
L1、L2正则VS L1、L2 loss 压缩特征向量,使用较广。2.L1、L2损失——loss函数SmoothL1是L1的变形,用于Faster RCNN、SSD等网络计算损失,比较上图绿色曲线和红色曲线,我们可以看到绿色曲线(SmoothL1)的变化相对于蓝色曲线(L2)更缓慢,所以当x发生变化的时候,SmoothL1对x的变化更不敏感,即SmoothL1的抗噪性优于L2。
L1、L2正则VS L1、L2 loss 压缩特征向量,使用较广。2.L1、L2损失——loss函数SmoothL1是L1的变形,用于Faster RCNN、SSD等网络计算损失,比较上图绿色曲线和红色曲线,我们可以看到绿色曲线(SmoothL1)的变化相对于蓝色曲线(L2)更缓慢,所以当x发生变化的时候,SmoothL1对x的变化更不敏感,即SmoothL1的抗噪性优于L2。
论文原话:"... L1 loss that is less sensitive to outliers than the L2 loss used in R-CNN and SPPnet." smoothl1曲线: