我们可以用MIM公式恢复缺失物品子序列，即所谓的Segment Prediction(SP) loss:4.4 Learning and Dicussio...
模型的预测目标有两个,一个目标是预测m,也就是预测输入x~的哪一些位置的特征值被替换了,这个loss是binary cross-entropy loss;另一个目标是预测原始的样本x的值,也就是那些被替换的位置的原始特征值是什么,这个的loss是MSE。在预训练过程中,self-supervised learning的loss就是这两个loss的和。 VIME在进行完self...
映射层,用于将表示层输出映射到对比损失空间。 对比学习loss。 其中对比学习 loss 的计算公式为: 其中sim 使用 L2 标准化的表征上计算 cosine 相似度。公式的含义是正例的相似度与其他所有负例的相似度在除以 τ 后算一下 softmax loss。也就是尽肯能的让正例在样本空间与原图片更相近,负例推得更远。下面提...
根据我看的文章,现在 self-supervised learning 主要分为两大类:1. Generative Methods;2. Contrastive Methods。下面我们分别简要介绍一下这这两种方法。 Generative Methods 首先我们介绍一下 generative methods。这类方法主要关注 pixel space 的重建误差,...
Learning Deep Representations of Fine-grained Visual Descriptions 我们把所唯一正确的预测称为Positive Sample; 其它的预测通通为 Negative Samples。文章接下来都使用 Contrastive Loss 来表示这种 Training 方法。 另外InfoNCE有一个 Weak Lower-Bound 在描述 N 的重要,也就是越多的 Negative Samples 时,Loss Functio...
根据我看的文章,现在 self-supervised learning 主要分为两大类:1. Generative Methods;2. Contrastive Methods。下面我们分别简要介绍一下这这两种方法。 Generative Methods 首先我们介绍一下 generative methods。这类方法主要关注 pixel space 的重建误差,大多以 pixel label 的 loss 为主。主要是以 AutoEncoder 为...
Learning Deep Representations of Fine-grained Visual Descriptions 我们把所唯一正确的预测称为Positive Sample; 其它的预测通通为 Negative Samples。文章接下来都使用 Contrastive Loss 来表示这种 Training 方法。 另外InfoNCE有一个 Weak Lower-Bound 在描述 N 的重要,也就是越多的 Negative Samples 时,Loss Functio...
2. Self-supervised Learning with MIM Modeling Item-Attribute Correlation.最大化物品和属性间的互信息,对于每个物品,属性都提供其细粒度信息。 因此通过对物品-属性相关性进行建模来融合物品和属性级别的信息。以这种方式,期望将有用的属性信息融入到物品表示中。
自监督学习(Self-supervised learning)最近获得了很多关注,因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号,然后把学习到的表示(representation)用作下游任务里。最近,对比学习被当作自监督学习中一个非常重要的一部分,被广泛运用在计算机视觉、自然语言处理等领域。它的目标是:将一个...
通过自监督学习可以做的事情可以远超过监督学习,这也是为什么Yann看好未来 self-supervised learning的发展。 总结一下监督学习和自监督学习的特点[3]。监督学习(SL):对于每一张图片,机器预测一个 category 或者是 bounding box;训练数据都是人所标注的;每个样本只能提供非常少的信息;自监督学习(SSL):对于一张图片,...