我们发现蓝色线代表的常规Softmax明显地偏向于常见类别,橙色线代表的Equalization Loss[1]通过去除某阈值以下罕见类别的负样本梯度缓解了这一问题,而红色线代表的Balanced Softmax则进一步达到了最平衡的预测类别分布。 元采样器Meta Sampler 虽然我们得到了一个适合长尾问题的理想的优化目标,优化过程本身依然充满挑战:罕见...
其实从统计的视角解决标签不平衡的思路在不平衡分类中也被深入讨论过,其中我们在NeurIPS 2020的工作Balanced Softmax [4]在长尾视觉分类上带来了显著的性能提升。然而由于MSE损失函数的概率意义很少被提及,这个思路在不平衡回归问题上是首次被探讨。不仅如此,我们也通过我们的两篇工作,Balanced Softmax与Balanced MSE,第...
其实从统计的视角解决标签不平衡的思路在不平衡分类中也被深入讨论过,其中我们在NeurIPS 2020的工作Balanced Softmax [4]在长尾视觉分类上带来了显著的性能提升。然而由于MSE损失函数的概率意义很少被提及,这个思路在不平衡回归问题上是首次被探讨。不仅如此,我们也通过我们的两篇工作,Balanced Softmax与Balanced MSE,第...
给定一个类别label为y的样本,该样本的softmax cross-entropy(CE)损失为: 假设类y有ny个训练样本,则类平衡(CB)softmax cross-entropy损失为: 4.2. Class-Balanced Sigmoid Cross-Entropy Loss 与softmax不同的是,sigmoid函数计算的类概率假设每个类是独立的,而不是互斥的。在使用sigmoid函数时,我们将多类视觉识别...
(2)我们证明,在现有的常用损失函数(包括softmax cross-entropy, sigmoid cross-entropy和focal loss)中加入所提出的类平衡项可以显著地改善性能。此外,我们证明了我们的类平衡损失可以作为视觉识别的一个通用损失,在ILSVRC 2012上表现优于常用的softmax cross-entropy。我们相信,我们对样本有效数量和类平衡损失的量化...
代码地址:https://github.com/FishYuLi/BalancedGroupSoftmax 视频讲解地址:https://www.youtube.com/watch?v=ikdVuadfUo8 论文的主要思想是提出了长尾分布目标检测器性能下降主要原因是与类别数量正相关,于是通过分组平均分配类别数的思想,提出了Balanced Group Softmax,这是一个简单的思想,效果很不错,大家可以多...
代码地址:https://github.com/FishYuLi/BalancedGroupSoftmax 视频讲解地址:https://www.youtube.com/watch?v=ikdVuadfUo8 使用基于深度学习的模型来解决长尾 large vocabulary目标检测是一项具有挑战性而艰巨的任务,然而,这项工作尚未得到充分研究。在本文的工作中,首先对针对长尾分布问题所提出SOTA模型的性能进行了...
通过对loss进行调整,对不同类别给予不同的权重 这些方法通常都对超参数敏感,并且迁移到检测框架的时候表现不佳(分类任务和检测任务的不同) Balanced Group Softmax 这里直接给出算法的具体框架: bgs 如上图所示,在训练阶段,我们会对类别进行分组,不同组内部分别计算Softmax,然后计算出各自的交叉熵误差。
defbalanced_softmax_loss(labels, logits, sample_per_class, reduction):"""Compute the Balanced Softmax Loss between `logits` and the ground truth `labels`. Args: labels: A int tensor of size [batch]. logits: A float tensor of size [batch, no_of_classes]. sample_per_class: A int ten...
1.3 类别平衡损失(Class-Balanced Loss) 明确有效样本数的概念后,文章提出在对不同类损失加权时,权重应选择有效样本数的倒数,这样调整后的损失称为类别平衡损失 (CB),即 这里 是真实级别 中的样本数。损失 BC中的权重是关于 的函数,如下图所示 这里x轴代表此类的真实样本数,y轴代表此类损失的BC权重。可见 ...