InstDise提出了个体判别这个代理任务,而且用这个代理任务和nce loss去做对比学习取得了不错的无监督表征学习的结果,同时提出了用别的结构存储这些大量的负样本,以及如何进行动量的更新,为后续的对比学习的工作产生了推进的作用。 1.2 InvaSpread paper:Unsupervised Embedding Learning via Invariant and Spreading Instance ...
李沐论文精读系列一: ResNet、Transformer、GAN、BERT李沐论文精读系列二:Vision Transformer、MAE、Swin-Transformer李沐论文精读系列三:MoCo、对比学习综述(MoCov1/v2/v3、SimCLR v1/v2、DINO等)李沐论文精…
而现在如果只是和聚类中心对比,用几百甚至3000个聚类中心就足以表示了,因为其实也并没有那么多类,imagenet也就1000类,COCO才80类,所以3000个聚类中心就足够用了,这相当于几万个负样本来说,是小了很多的。 这些聚类中心是有明确的语义含义的,之前只是随机抽样负样本做对比的话,可能类别不均衡甚至可能是个正样本的...
2.2 损失函数 使用对比损失(Contrastive Loss)或其变种(如InfoNCE)来优化样本间的相似性。 2.3 表示学习目标 在一个嵌入空间中,学习到的特征满足“语义相似的样本靠近,语义不同的样本远离”的性质。 3. 对比学习方法的分类 对比学习方法主要可以分为以下几类: 3.1 基于单视角的方法(Instance Discrimination) 典型代表...
生成式学习以自编码器(例如GAN,VAE等等)这类方法为代表,由数据生成数据,使之在整体或者高级语义上与训练数据相近。 2.2.2对比式学习 对比式学习着重于学习同类实例之间的共同特征,区分非同类实例之间的不同之处。 与生成式学习比较,对比式学习不需要关注实例上繁琐的细节,只需要在抽象语义级别的特征空间上学会对数据...
对比学习综述 发展历程大概可以分为四个阶段 1、百花齐放 InstDisc(instance discrimination) CPC CMC 在这个阶段中,方法、模型、目标函数、代理任务都还没有统一,所以说是一个百花齐放的时代 2、CV双雄 MoCo v1 SimCLR v1 MoCo v2 SimCLR v2 CPC、CMC的延伸工作 ...
对比学习的目标是学习一个编码器,此编码器对同类数据进行相似的编码,并使不同类的数据的编码结果尽可能的不同。 3. 近况 最近深度学习两巨头 Bengio 和 LeCun 在 ICLR 2020 上点名 Self-Supervised Learning(SSL,自监督学习) 是 AI 的未来,另外,Hinton 和 Kaiming...
生成式学习以自编码器(例如GAN,VAE等等)这类方法为代表,由数据生成数据,使之在整体或者高级语义上与训练数据相近。 2.2.2对比式学习 对比式学习着重于学习同类实例之间的共同特征,区分非同类实例之间的不同之处。 与生成式学习比较,对比式学习不需要关注实例上繁琐的细节,只需要在抽象语义级别的特征空间上学会对数据...
而是:引言中,第一段写CV和NLP的区别,以及到底为什么无监督学习在CV这边做的不好;第二段开始讲对比学习,直接把对比学习的方法总结成一个字典查找的问题;然后在CV和NLP大一统、对比学习被看做字典查找也大一统的大框架下,提出了MOCO这个框架,希望能用一个又大又一致的字典,去整体的提高对比学习的性能。
看了朱毅老师在B站讲的对比学习论文综述,这里稍微总结一下。视频,笔记 第一阶段:百花齐放 InstDisc(Unsupervised Feature Learning via Non-Parametric Instance Discrimination) 引入个体判别代理任务,正样本就是这个图片本身(可能经过一些数据增强),是batch中的图片,负样本就是数据集里所有其它的图片,是从memory bank 里...