《Selective-Supervised Contrastive Learning with Noisy Labels》 引入一个filter机制,用高置信的positive来做supervised contrastive learning,提升监督质量。 《Balanced Contrastive Learning for Long-Tailed Visual Recognition》提出了balanced supervised contrastive learning loss。1)通过class-averaging来平衡不均衡负类的...
在看Supervised Contrastive Learning的时候,一开始看到code还觉得很奇怪,跟paper中的公式对不上。后面想起log_softmax也是减去最大值,才发现逻辑是一样的,简单记录一下。 Log_Softmax 注意这里是所有点进行处理的,注意mask matrix: mask: the sample with the same category ...
论文信息 论文标题:Supervised Contrastive Learning with Structure Inference for Graph Classification 论文作者:Hao Jia, Junzhong Ji, Minglong Lei 论文来源:2022, ArXiv 论文地址:download 论文代码:download 1 Introduction 任务:Graph Classification 先前工作存在的问题 ...
这个说法很直观,因为BatchNorm作用后的输出满足固定方差而不是0方差,所以一定不可能是常量,因而避免了collapse。非0方差强行使得batch内的样本具有一定的距离拉开作用,而最终的loss会使得positive pair有拉近的作用,综合这两者的作用其实是和使用负样本有异曲同工之妙。 为了验证假说,文章测试了一下不使用BatchNorn的层...
supervised contrastive learning的loss解读 Supervised Contrastive Learning: Understanding the Loss Supervised Contrastive Learning (SCL) is a recent approach in the field of deep learning that has gained significant attention due to its ability to learn powerful representations for various tasks. In this ...
论文:https://arxiv.org/pdf/2004.11362.pdf 代码:https://github.com/HobbitLong/SupContrast 交叉熵损失有很多缺点,例如对嘈杂标签缺乏鲁棒性,分类边距可能较差,导致泛化性能下降。 作者在对比学习的基础上加上了标签信息,提出了一种监督学习的损失,让来自相同类别的特征比不同类别的特征更靠近。
自监督学习(Self-supervised learning)最近获得了很多关注,因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号,然后把学习到的表示(representation)用作下游任务里。最近,对比学习被当作自监督学习中一个非常重要的一部分,被广泛运用在计算机视觉、自然语言处理等领域。它的目标是:将一个...
自监督学习(Self-supervised learning)最近获得了很多关注,因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号,然后把学习到的表示(representation)用作下游任务里。最近,对比学习被当作自监督学习中一个非常重要的一部分,被广泛运用在计算机视觉、自然语言处理等领域。它的目标是:将一个...
目录 前言 1.方法介绍以及结构 2.思路的实现 2.1自监督对比学习 2.2有监督对比学习 3.结果 前言 本文是根据观看了知名油管up主,对Supervised Contrastive Learning这篇文论文的解读写了一点自己的理解,初次接触,理解甚浅。 在文章中作者提出了一种新的监督训练的loss, 这种loss 是基于contrast loss的优化目标,与之前...
Zhang G, Hu Z, Wen G, et al. Dynamic graph convolutional networks by semi-supervised contrastive learning[J]. Pattern Recognition, 2023, 139: 109486. 摘要导读 传统的图卷积网络(GCN)及其变体通常只通过数据集给出的拓扑结构传播节点信息。然而,给定的拓扑结构只能表示一定的关系,而忽略节点之间的一些相关...