观察上述的contrastiveloss的表达式可以发现,这种损失函数可以很好的表达成对样本的匹配程度,也能够很好用于训练提取特征的模型。当y=1(即样本相似)时,损失函数只剩下即原本相似的样本,如果在特征空间的 Contrastive Loss(Siamese Network) ,y=0则代表不匹配,margin为设定的阈值。 这种损失函数最初来源于YannLeCun的《...
Generative Methods(生成式方法)这类方法以自编码器为代表,主要关注pixel label的loss。举例来说,在自编码器中对数据样本编码成特征再解码重构,这里认为重构的效果比较好则说明模型学到了比较好的特征表达,而重构的效果通过pixel label的loss来衡量。 Contrastive Methods(对比式方法)这类方法则是通过将数据分别与正例...
不同光照下,不同角度下,像素间欧氏距离尽管很远,但是能聚集在一个环上。 3. Triplet Loss 4. NCE Loss 【注:后续研究并没有怎么使用原始的NCELoss,而是只使用这里的结论,这里引入是为了说明应该多采用负样本。】 之前从向量空间考虑,NCE从概率角度考虑【原证明为贝叶斯派的证法】,NCE是对于得分函数的估计,那也...