其主要的动机是 Transformer 在 NLP 中成功的主要原因就是 Self-supervised Learning,比如 BERT 的 Masked Language Modeling 或者 GPT 的Language Modeling。自监督训练会根据上下文创建一个任务,这些任务相比于有监督训练的预测标签来讲,可以提供更加丰富的学习信号。同样的道理,图像的有监督训练是把图像中包含的丰富的...
Self-Supervised Learning,又称为自监督学习,我们知道一般机器学习分为有监督学习,无监督学习和强化学习。 而 Self-Supervised Learning 是无监督学习里面的一种,主要是希望能够学习到一种通用的特征表达用于下游任务 (Downstream Tasks)。 其主要的方式就是通过自己监督自己。作为代表作的 kaiming 的 MoCo 引发一波热议...
与此同时,无标签数据正在以前所未有的速度生成,为了充分利用这些数据,设置一个合适的学习目标并从数据本身获得监督信息是一种潜在的有效解决方案。不同于依赖人工标注的方法,自监督学习 (self-supervised learning)通过探索数据点之间的关系而生成标签,使得研究人员能够无限地去探索数据中免费的标签信息。此外,由于标注人...
Self-Supervised自从何恺明做出MoCo以来再度火热,目前仍然是最为火热的方向之一。目前可以做的主要有三个路径,一个是探索退化解的充要条件,一个是Self-Supervised+Transformer探索上限,还有一个是探索非对比学习的方法。 探索退化解的充要条件主要是探索无negative pair的时候,避免退化解的最优方案是什么。 [SimCLR] [B...
11)自监督学习(Self-Supervised Learning) 12)自注意力机制(Self-Attention Mechanism) 13)零样本学习(Zero-Shot Learning) 14)AI Alignment (AI对齐) 15)词嵌入(Word Embeddings) 16)位置编码(Positional Encoding) 17)中文LangChain 1、Transformer Transformer 是一种基于自注意力机制(self-attention mechanism)的...
先写两个最近火热我比较看好的方向Transformer和Self-Supervised,我这里举的例子倾向于计算机视觉方向。最后再补充Zero-Shot和多模态两个方向。 1.Transformer 自从去年DETR和ViT出来之后,计算机视觉领域掀起了Transformer狂潮。目前可以做的主要有两个路径,一个是魔改DETR和ViT,另一个是不同task迁移算法。
Self-supervised Learning Framework 上表给出了四种不同自监督学习框架的实验对比。可以看到:(1)相比其他自监督方法,在相同骨干网络ViT-S与ViT-B时,MoCoV3具有更加的精度。(2) MoCoV3与SimCLR在ViT-B方面的性能要优于ResNet50。 Ablations of ViT+MoCoV3 ...
[b]. A Simple Framework for Contrastive Learning of Visual Representations. Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. ICML 2020.[c]. Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning. Grill et al. NIPS 2020.[d]. An Empirical Study of Training ...
[c]. Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning. Grill et al. NIPS 2020. [d]. An Empirical Study of Training Self-Supervised Vision Transformers. Xinlei Chen, Saining Xie, and Kaiming He. ICCV 2021. [e]. An Image is Worth 16x16 Words: Transformers for Imag...
[b]. A Simple Framework for Contrastive Learning of Visual Representations. Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. ICML 2020. [c]. Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning. Grill et al. NIPS 2020. ...