Motivation: 现有自监督方法在分类上表现好但是在密集预测任务(目标检测/语义分割)上表现不好;原因:都是global-level的特征提取;没有考虑local/pixel-level的预测能力;本质上现有的自监督方法是image-level的分类问题,即instance discrimination问题:也就是说把一张图像的数据增强版本分类成它原来那一类。本文提出一种利...
作者在分析 GIoU loss 时,发现 GIoU 首先会试图通过增加检测框的大小使其与目标 bbox 有重叠,然后利用 IoU loss 项使其与目标 bbox 重叠面积最大,如下左图所示: 同时,但两个框有包含关系是,GIoU loss 就退化成了 IoU loss 了。这时候边界框的对齐变得较困难,收敛较慢。 In Distance-IoU (DIoU) loss, ...
(2)作者提出了一种新的检测友好的自我监督方法,DetCo,它能够结合多个全局和局部的对比损耗来改进对比学习,以训练用于目标检测的鉴别表示。理论论证表明,DetCo能够提高对比学习中互信息的下界。 (3)在PASCAL VOC[15]、COCO[28]和Cityscapes[6]上进行的大量...
这样的设计还可以对各种目标分配策略保持稳健的贡献,从而导致无锚检测器的爆炸式增长(Zhu、He 和 Savvides 2019;Tian 等人 2019)。 此外,在这一突破的影响下,很多研究都更深入地考虑了这种在线困难样本挖掘思想。例如,已经提出了一种基于focal loss的减小惩罚像素级逻辑回归损失来优化Center Net中中心点的预测,并且相...
基于此,作者提出了一个对象级自监督预训练框架,称为选择性对象对比学习(Selective Object COntrastive learning, SoCo),专门用于目标检测的下游任务 。为了将对象级表示引入预训练,SoCo利用选择性搜索生成对象proposal。 不同于先前的图像级对比学习方法,将整张图片作为作为一个实例,SoCo将图像中的每个对象proposal视为一...
SoCo的目标是将预训练与目标检测结合起来。 论文使用具有代表性的框架Mask R-CNN和特征金字塔网络(FPN)来演示关键设计原则。 对齐主要是将预训练体系结构与目标检测体系结构进行对齐,并将目标层平移不变性、尺度不变性等重要的目标检测属性集成到预训练体系结构中。
【博士带你学论文】半天带你搞懂对比学习+多模态3D目标检测!Meta博士带你更好理解对比学习,CLIP模型、Dalle2、SimCLR自监督算法实例,源码解读!共计17条视频,包括:1、对比学习算法与实例、2、对比学习算法与实例、【如何更好地理解对比学习】田渊栋 (Meta AI Research
简介:随着深度学习和卷积神经网络(CNN)的快速发展,目标检测已成为计算机视觉领域的热点话题。然而,大多数现有的目标检测方法依赖于有标签数据进行训练,这在实际应用中可能面临数据标注成本高昂的问题。为了解决这一问题,无监督学习吸引了众多研究者的关注。无监督学习通过利用未标注数据进行模型训练,可以降低对标签数据的依...
具体来说,除了像现有的自监督对比学习方法那样预训练backbone之外,SoCo还预训练了目标检测器中使用的所有网络模块,如FPN和Mask R-CNN框架中的head。因此,检测器的所有层都可以很好地初始化。 此外,SoCo学习了对象级表示,这些表示不仅对于目标...