2. Lower Bounds on Cross-Entropy Loss 本节描述了一种框架来计算在对抗攻击下交叉熵损失的下界。该框架可用于普通离散分布和两种高斯混合分布下下对于带有对抗扰动样本的二分类问题。 2.1 问题描述 x表示X分部空间下的输入样本图片,y=1或-1,表示二分类下的标签,而f描述x到y的映射关系,即分类函数。这里作者引入
这是交叉熵公式：\begin{equation*} H(A,B)= -\sum_{i}P_{A}(x_i)log(P_{B}(x_i)) \end{equation*} 此处最重要的观察是，如果S(A)是一个常量，那么D_{KL}(A||B) = H(A,B)，也就是说KL散度和交叉熵在特定条件下等价。这个发现是这篇回答的重点。同时补充交叉熵的一些性质：和KL散度...
其余可参考深度学习(3)损失函数-交叉熵(CrossEntropy) 如何通俗的解释交叉熵与相对熵? Hinge loss 在网上也有人把hinge loss称为铰链损失函数,它可用于“最大间隔(max-margin)”分类,其最著名的应用是作为SVM的损失函数。 二分类情况下 多分类 扩展到多分类问题上就需要多加一个边界值,然后叠加起来。公式如下: ...