1. InfoNCE loss公式 对比学习损失函数有多种,其中比较常用的一种是InfoNCE loss,InfoNCE loss其实跟交叉熵损失有着千丝万缕的关系,下面我们借用恺明大佬在他的论文MoCo里定义的InfoNCE loss公式来说明。 论文MoCo提出,我们可以把对比学习看成是一个字典查询的任务,即训练一个编码器从而去做字典查询的任务。假设已经...
论文CPC InfoNCE Loss Motivation Predict the future->Good Representation->Mutual Information 也就是说想要得到好的预测我们要最大化input\(x_t\)和context\(c_t\)的互信息(Mutual Information),即尽可能多的用\(c_t\)去表达原始信号\(x\) \[I(x;c)=\sum_{x,c}p(x,c)\log \frac {p(x|c)}...
1. InfoNCE loss公式 对比学习损失函数有多种,其中比较常用的一种是InfoNCE loss,InfoNCE loss其实跟交叉熵损失有着千丝万缕的关系,下面我们借用恺明大佬在他的论文MoCo里定义的InfoNCE loss公式来说明。论文MoCo提出,我们可以把对比学习看成是一个字典查询的任务,即训练一个编码器从而去做字典查询的任务。假设已经有...
作为刚入门自监督学习的小白,在阅读其中 Contrastive Based 方法的自监督论文时,经常会看到 InfoNCE 这个 loss(在 CPC 的论文中提出),之前只知道它的思想来自于 NCE 以及代表什么含义,但是对其背后的理论推导、以及如何从 NCE 迁移到 InfoNCE 的不太清楚,因此这篇文章就是通过理论推导和自己的理解来对 NCE 和 Info...
作为刚入门自监督学习的小白,在阅读其中 Contrastive Based 方法的自监督论文时,经常会看到 InfoNCE 这个 loss(在 CPC 的论文中提出),之前只知道它的思想来自于 NCE 以及代表什么含义,但是对其背后的理论推导、以及如何从 NCE 迁移到 InfoNCE 的不太清楚,因此这篇文章就是通过理论推导和自己的理解来对 NCE 和 Info...
作为刚入门自监督学习的小白,在阅读其中 Contrastive Based 方法的自监督论文时,经常会看到 InfoNCE 这个 loss(在 CPC 的论文中提出),之前只知道它的思想来自于 NCE 以及代表什么含义,但是对其背后的理论推导、以及如何从 NCE 迁移到 InfoNCE ...
作为自监督学习新手，在阅读对比基方法论文时，经常遇到提及的 InfoNCE loss（在 CPC 论文中提出），了解其背后理论推导及从 NCE 迁移到 InfoNCE 的过程。本文通过理论推导与个人理解，旨在深入理解 NCE 和 InfoNCE 的发展脉络。NCE（噪声对比估计）在 [2] 中提出，主要针对概率密度函数的估计。而 NLP ...
InfoNCE, where NCE stands for Noise-Contrastive Estimation, is a type of contrastive loss function used for self-supervised learning.Given a set $X = ${$x_{1}, \dots, x_{N}$} of $N$ random samples containing one positive sample from $p\left(x_{t+k}|c_{t}\right)$ and $N ...
作为刚入门自监督学习的小白,在阅读其中 Contrastive Based 方法的自监督论文时,经常会看到 InfoNCE 这个 loss(在 CPC 的论文中提出),之前只知道它的思想来自于 NCE 以及代表什么含义,但是对其背后的理论推导、以及如何从 NCE 迁移到 InfoNCE 的不太清楚,因此这篇文章就是通过理论推导和自己的理解来对 NCE 和 Info...
作为刚入门自监督学习的小白,在阅读其中 Contrastive Based 方法的自监督论文时,经常会看到 InfoNCE 这个 loss(在 CPC 的论文中提出),之前只知道它的思想来自于 NCE 以及代表什么含义,但是对其背后的理论推导、以及如何从 NCE 迁移到 InfoNCE 的不太清楚,因此这篇文章就是通过理论推导和自己的理解来对 NCE 和 Info...