Normalized Temperature-scaled Cross-Entropy 或 NT-Xent 损失是多类 N 对损失的修改,增加了温度 (T) 参数。它在数学上表示如下: “sim(.)”表示余弦相似度函数,“z_i”和“z_j”分别是样本“s_i”和“s_j”的编码特征。 上面的等式显示了自监督学习中使用的 NT-Xent 损失的表达式。对于监督学习,上面显...
NT-Xent 损失是使用一对通过编码器网络传递的图像的增强视图来计算的，以获得它们相应的表示。 对比损失的目标是鼓励同一图像的两个增强视图的表示相似，同时迫使不同图像的表示不相似。NT-Xent 将 softmax 函数应用于增强视图表示的成对相似性。 softmax 函数应用于小批量内的所有表示对，得到每个图像的相似性概率...
keras.losses.Reduction.NONE”，这是为了保持"sim_ik“和"sim_jk”中的形状一致，因为否则导致的损失...
这样一来,我们就可以画出 NT-Xent 函数的判别边界如下: ▲这个图其实说明的是对于每个anchor,正样本和负样本的相似性度量之间的关系。橙色区域是优化的方向。 对于传统的 NT-Xent 目标函数,由于缺乏一个较大的决策 margin,因此决策边缘微小的扰动都可能错误决策。为了克服这个问题,作者提出了一个新的目标,即通过增...
分类问题希望解决的是将不同的样本分到事先定义到的经典损失函数。分类问题希望解决的将不同的样本分到...