本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读,包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的业务中,最终起到了一个不错的效果。 Contrastive Learning with Adversarial Perturbations for Conditional Text Generation 任务:端...
本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读,包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的业务中,最终起到了一个不错的效果。 Contrastive Learning with Adversarial Perturbations for Conditional Text Generation 任务:端...
最近深度学习两巨头 Bengio 和 LeCun 在 ICLR 2020 上点名 Self-Supervised Learning(SSL,自监督学习) 是 AI 的未来,另外,Hinton 和 Kaiming 两位神仙也在这问题上隔空过招,MoCo、SimCLR、MoCo V2 打得火热,这和 BERT 之后,各大公司出 XL-Net、RoBerta 刷榜的场景何其相似。 4.感谢 写这篇综述,花了大概一...
2020: Augmented Skeleton Based Contrastive Action Learning with Momentum LSTM for Unsupervised Action Recognition 2020: Deep Robust Clustering by Contrastive Learning 2020: Contrastive Learning for Unpaired Image-to-Image Translation 2020: Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentatio...
1.对比学习(Contrastive Learning)在CV与NLP领域中的研究进展 2.ICLR2021对比学习(Contrastive Learning)NLP领域论文进展梳理 本篇文章则梳理了对比学习在ICLR2021、ICLR2020和NIPS2020中非常值得大家一读的一些经典论文,构思非常巧妙,涵盖了CV和NLP领域,且与之前两篇文章中介绍的模型均不重叠。后续等NIPS2021论文公开后...
1.对比学习(Contrastive Learning)在CV与NLP领域中的研究进展 2.ICLR2021对比学习(Contrastive Learning)NLP领域论文进展梳理 本篇文章则梳理了对比学习在ICLR2021、ICLR2020和NIPS2020中非常值得大家一读的一些经典论文,构思非常巧妙,涵盖了CV和NLP领域,且与之前两篇文章中介绍的模型均不重叠。后续等NIPS2021论文公开后...
论文标题:Representation Learning with Contrastive Predictive Coding 论文链接:https://arxiv.org/abs/1807.03748 代码链接:https://github.com/davidtellez/contrastive-predictive-coding 很多时候,很多数据维度高、label相对少,我们并不希望浪费掉没有label的那部分data。所以在label少的时候,可以利用无监督学习帮助我们...
●Distillation Using Unlabeled Data Improves Semi-Supervised Learning 这个实验很有意思的点是,无论是 self-distillation 还是 distill small model,效果都比 teacher model 效果好,这里的解释可以看这里:Link | arxiv,很有趣~主要在说:d...
三种方式的示意图也在这一小节的开头给出了,可以清楚的看到三种方式的区别。这种对比画图的方式对于说明问题很有帮助,可以在论文中进行尝试。 2.2 SimCLR 论文标题:A Simple Framework for Contrastive Learning of Visual Representations 论文链接:https://arxiv.org/abs/2002.05709 ...
本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读,包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的业务中,最终起到了一个不错的效果。 Contrastive Learning with Adversarial Perturbations for Conditional Text Generation ...