作为刚入门自监督学习的小白,在阅读其中 Contrastive Based 方法的自监督论文时,经常会看到 InfoNCE 这个 loss(在 CPC 的论文中提出),之前只知道它的思想来自于 NCE 以及代表什么含义,但是对其背后的理论推导、以及如何从 NCE 迁移到 InfoNCE 的不太清楚,因此这篇文章就是通过理论推导和自己的理解来对 NCE 和 Info...
我们一般认为各类cl方法中,正样本对的对比带来的loss 的优化过程,能够使得encoder实现alignment的作用,即在encoder forward 出来的embedding空间中,相似的samples具有相似的embedding表示,从各类cl的paper的设计上看,可以确定的是,image的经过了augment之后产生的 view1,view2.。。。viewn 在embedding空间中确实是相对更加...
(对比region-level 的features) First, we propose to use region-level features instead of view-level features to compute contrastive loss。 2.如何在masked and unmasked 的特征之间建立bridge?(如何消除两者之间的gap?) 提出了MPH,来解决上述问题,Experients部分定性和定量证明了MPH的有效性。 框架图: 怎么选...
Generative Methods and Contrastive Methods Generative Methods(生成式方法)这类方法以自编码器为代表,主要关注pixel label的loss。举例来说,在自编码器中对数据样本编码成特征再解码重构,这里认为重构的效果比较好则说明模型学到了比较好的特征表达,而重构的效果通过pixel label的loss来衡量。 Contrastive Methods(对比式...
Loss:前面两项分别对应 global 和 local,最后一项对应 Prior matching 对比学习在推荐里的应用场景 在召回阶段: 负采样逻辑优化:现在很多推荐系统里的负采样都是随机采样的,虽然随机采样已经能拿到不错的效果了,但是一定还有优化空间,比如 InfoNce 文章中提到的增大负采样的个数能够提升互信息的下界,同时在工业界的 best...
First, we propose to use region-level features instead of view-level features to compute contrastive loss。 2.如何在masked and unmasked 的特征之间建立bridge?(如何消除两者之间的gap?) 提出了MPH,来解决上述问题,Experients部分定性和定量证明了MPH的有效性。
损失函数很关键,SimCLR的损失函数采用InfoNCE Loss,某个例子对应的InfoNCE损失为: 其中 代表两个正例相应的Embedding。 InfoNCE函数,分子部分鼓励正例相似度越高越好,也就是在表示空间内距离越近越好;而分母部分,则鼓励任意负例之间的向量相似度越低越好,也就是距离越远越好。
损失函数很关键,SimCLR的损失函数采用InfoNCE Loss,某个例子对应的InfoNCE损失为: 其中代表两个正例相应的Embedding。 InfoNCE函数,分子部分鼓励正例相似度越高越好,也就是在表示空间内距离越近越好;而分母部分,则鼓励任意负例之间的向量相似度越低越好,也就是距离越远越好。
此外,大量未标记数据中隐含的监督信号可以利用公式化的对比损失(formulated contrastive loss)。因此,我们提出的框架可以提高模型学习能力。在基准数据集上的实验结果证实了我们提出的CGPN在极低标签率下处理半监督节点分类时的强大优势。 总之,本文的贡献有三个方面:...
对于BYOL来说,它的优化目标要求Online部分的正例,在表示空间中向Target侧对应的正例靠近,也即拉近两组图像增强正例之间的距离,对应Loss 函数为: L_{aug1}=‖v_i-z_j ‖_2^2=2-2\cdot〈v_i,z_j 〉/(‖v_i ‖_2\cdot‖z_j ‖_2 ) ...