不同的损失函数适用于不同的情况,其中focal loss和dice loss是近年来较为流行的损失函数。 1. Focal Loss Focal loss是针对分类任务的一种损失函数,它是在交叉熵损失函数的基础上提出的。交叉熵损失函数在训练过程中给予那些易于分类的样本较小的惩罚,而较难分类的样本则会得到更高的惩罚。然而,在某些情况下,...
上面有说到 dice coefficient 是一种两个样本的相似性的度量函数,上式中,假设正样本 p 越大,dice 值越大,说明模型预测的越准,则应该 loss 值越小,因此 dice loss 的就变成了下式这也就是最终 dice loss 的样子。 为了能得到 focal loss 同样的功能,让 dice loss 集中关注预测不准的样本,可以与 focal lo...
5 DiceLoss(用于计算两个样本点的相似度的距,主要应用,语义分割等) 6 Focal Loss 7 Chamfer Distance(CD、倒角距离) 8 Earth Mover’s Distance (EMD、推土机距离) 9 Density-aware Chamfer Distance (DCD) 10 smooth L1 loss(faster RCNN 和 SSD 使用) 11 Iou Loss | Glou Loss|DIoU Loss|CIoU Loss ...
IoU 的计算公式和这个很像,区别就是 TP 只计算一次: 和Dice soft loss 一样,通过 IoU 计算损失也是使用预测的概率值: 其中C 表示总的类别数。 总结: 交叉熵损失把每个像素都当作一个独立样本进行预测,而 dice loss 和 iou loss 则以一种更“整体”的方式来看待最终的预测输出。 这两类损失是针对不同情况,...
3. focal loss 仔细看与CEloss区别,这个gamma目的是通过减少易分类样本的权重,从而使得模型在训练时更专注于难分类的样本。首先pt的范围是0到1,所以不管γ是多少,这个调制系数都是大于等于0的。易分类的样本再多,你的权重很小,那么对于total loss的共享也就不会太大。那么怎么控制样本权重呢?举个例子,假设一个...
Focal Loss 就是一个解决分类问题中类别不平衡、分类难度差异的一个 loss,总之这个工作一片好评就是了。 看到这个 loss,开始感觉很神奇,感觉大有用途。因为在 NLP 中,也存在大量的类别不平衡的任务。最经典的就是序列标注任务中类别是严重不平衡的,比如在命名实体识别中,显然一句话里边实体是比非实体要少得多,这...
和标注任务相比,该任务的不平衡度要轻得多。下表是实验结果:尽管效果提升没有序列标注任务大,但仍然有接近一个点的提升。 5、不平衡程度的影响既然Dice Loss的提出是为了缓解数据分布不平衡的问题,我们自然想问,不平衡的程度对效果的提升影响如何。我们使用段落识别的QQP数据集进行实验。QQP原始数据包含37%的正类...
有两个参数可调, alpha和gamma. alpha是控制类别不平衡的. gamma是控制难易样本的. 一般都是调alpha, gamma自己没调过,有大佬调过的可以发表一下见解. alpha越大,recall会越高,precision会越低. 当alpha增大时,比如说增大到1, 以一个检测的二分类为背景, 这时候focal loss就不会包含负样本的loss了, 想要foc...
dice loss 对正负样本严重不平衡的场景有着不错的性能,训练过程中更侧重对前景区域的挖掘。但训练loss容易不稳定,尤其是小目标的情况下。另外极端情况会导致梯度饱和现象。因此有一些改进操作,主要是结合ce loss等改进,比如: dice+ce loss,dice + focal loss等,本文不再论述。