基于高斯核+focal loss训出来的模型,分数貌似普遍较低,在视频流上预测结果稳定性不如bce的感觉。 之前看过一个问题“为啥直接在yolo v3上用focal loss的时候效果反而变差了?”,我当时的理解是,yolo v3给出的3种样本(正,负,忽略),其中忽略样本的区间太窄了。比如预测和gt的iou大于0.7或者大于0.5才是忽略值。
1. Focal Loss 存在两个超参数,并且是互相影响,构成许多参数组合,会导致调参需要很多尝试成本;并且,Focal Loss 是一种静态的 loss,那么同一种超参数无法适用于不同的数据分布; 2. 有一些特别困难分类的样本,它们很可能是离群点,加入这些样本的训练,会影响模型的稳定性; 3. 提出了gradient density(梯度密度)的...
所以focal loss就利用衰减的公式来减轻那些easy样本的影响，同时也平衡类别数目。
1. Focal Loss 存在两个超参数,并且是互相影响,构成许多参数组合,会导致调参需要很多尝试成本;并且,Focal Loss 是一种静态的 loss,那么同一种超参数无法适用于不同的数据分布; 2. 有一些特别困难分类的样本,它们很可能是离群点,加入这些样本的训练,会影响模型的稳定性; 3. 提出了gradient density(梯度密度)的...
相反，Focal Loss对容易样本(inliers)减少权重来解决（address）类别不平衡问题（class imbalance），这意味...
Focal Loss 是一种专门为类别不均衡设计的loss,在《Focal Loss for Dense Object Detection》这篇论文中被提出来,应用到了目标检测任务的训练中,但其实这是一种无关特定领域的思想,可以应用到任何类别不均衡的数据中。 首先,还是从二分类的cross entropy(CE)loss入手: ...