目标检测回归损失函数1:L1 loss, L2 loss以及Smooth L1 Loss的对比 这个博客让我看明白了三者的区别: https://www.cnblogs.com/wangguchangqing/p/12021638.html 总结就是smoothL1loss完美的规避了L1loss和L2loss的缺点 相对于L1loss来说,收敛的更快了 相对于L2loss来说,对于离群点更加友好,梯度变化小 ...
对比L1 Loss 和 L2 Loss 6. 总结 1. 损失函数的定义 损失函数:衡量模型输出(prediction)与真实标签(ground truth)的差异。 2. L1 loss-平均绝对误差 平均绝对误差(Mean Absolute Error, MAE)是指模型预测值 f(x) 和真实值 y 之间距离的均值,公式如下: 忽略下标 i ,设n=1,以 f(x)−y 为横轴,MAE的...
smooth L1损失函数曲线如下图所示,作者这样设置的目的是想让loss对于离群点更加鲁棒,相比于L2损失函数,其对离群点(指的是距离中心较远的点)、异常值(outlier)不敏感,可控制梯度的量级使训练时不容易跑飞。 smooth L1损失函数曲线 四、总结 从上面可以看出,该函数实际上就是一个分段函数,在[-1,1]之间实际上就...
1、L1 loss 在零点不平滑,用的较少 ,、一般来说,L1正则会制造稀疏的特征,大部分无用特征的权重会被置为0 2、Smooth L1 Loss 修改零点不平滑问题 , L1-smooth比L2范数的对异常值的鲁棒性更强。 3、L2 loss:对离群点比较敏感,如果feature 是 unbounded的话,需要好好调整学习率,防止出现梯度爆炸的情况[fast...
三、总结 L1损失与L2损失：在损失值与梯度稳定性上各有优势。L1损失对异常点鲁棒，倾向于产生稀疏解；L2损失收敛速度快，但值相对较大，对噪声敏感。正则项：通过控制模型复杂度，促进泛化性能。L1正则化倾向于产生稀疏模型系数，适合特征选择；L2正则化则不倾向于产生稀疏解，但能有效防止过拟合。
所以在目标检测的Bounding box回归上早期会考虑Smooth L1 Loss: 相比于L1 Loss,可以收敛得更快。 相比于L2 Loss,对离群点、异常值不敏感,梯度变化相对更小,训练时不容易跑飞。 曲线分布如下: 五、补充知识 1.什么是梯度爆炸? 在深度神经网络中,一般使用反向传播更新权重,由于链式法则误差梯度会在逐层更新中积累...
1. L1 loss： 特点：具有连续性和平滑的导数，对离群点不敏感。 优点：在处理含有异常值的数据时表现较好，因为这些异常值对L1 loss的影响相对较小。 缺点：可能导致收敛速度较慢，因为其对误差的惩罚是线性的，不如L2 loss的二次惩罚快速收敛。2. L2 loss： 特点：对较大误差有更强的惩罚，易于...
L1 loss 和 L2 loss L1 和 L2 loss 有什么区别。 L1 我理解成 1 维向量的距离。假设只有一个座标轴,上面每一个点都有一个 x 座标。现在需要求 x1 , x2 两个点的距离。很简单吧,距离就是: |x1-x2| 。 loss function 计算网络残差就是所有预测值跟 label 距离求和。
smooth L1 loss比L2 loss更能减少梯度变化的幅度，从而更加稳定。L2 loss 是对每个参数求平方和，梯度...