李沐论文精读系列一: ResNet、Transformer、GAN、BERT李沐论文精读系列二:Vision Transformer、MAE、Swin-Transformer李沐论文精读系列三:MoCo、对比学习综述(MoCov1/v2/v3、SimCLR v1/v2、DINO等)李沐论文精…
论文阅读:CVPR2020 | MOCOV2:Improved Baselines with Momentum Contrastive Learning,程序员大本营,技术文章内容聚合第一站。
MoCo v1于2019.11发布于arXiv,中了CVPR 2020;MoCo v2于2020.3发布于arXiv,是一个技术报告,正文只有2页。 如无特别说明,文中截图均来自论文[1]或论文[2]。 先讲MoCo v1,用对比学习来做做自监督(无监督)学习,一个非常重要的点就是负样本,个人理解是负样本越多越好,这样得到的representation判别性更强,有效...
MoCov1-v2 都是无监督表征学习方向的论文,其中MoCov1(何恺明一作) 去年就挂出来了,目前也已收录于CVPR 2020 Oral。 而今年三月份,MoCov2 论文出来了,同时MoCov1-v2的代码也同步开源了。 值得注意的是MoCov2 论文中与 前段时间 Hinton组的SimCLR做了对比,MoCov2性能全面超过SimCLR(大厂之间的较量,瑟瑟发抖)。
而今年三月份,MoCov2 论文出来了,同时MoCov1-v2的代码也同步开源了。 值得注意的是MoCov2 论文中与 前段时间 Hinton组的SimCLR做了对比,MoCov2性能全面超过SimCLR(大厂之间的较量,瑟瑟发抖)。 TinyPerson 论文链接:https:///abs/1912.10664 代码链接:
4.3 MOCOv2 4.3.1 改进策略 4.3.2 实验 4.4 SimCLRv2 4.4.1简介 4.4.2 算法 4.4.3 实验 4.5 SwAV 4.5.1 研究动机 4.5.2 算法 4.5.3 Multi-crop增强 4.5.3 实验 4.6 CPCv2 五、第三阶段---不用负样本(BYOL和SimSiam) 5.1 BYOL 5.1.1 前言 5.1...