其余可参考深度学习(3)损失函数-交叉熵(CrossEntropy) 如何通俗的解释交叉熵与相对熵? Hinge loss 在网上也有人把hinge loss称为铰链损失函数,它可用于“最大间隔(max-margin)”分类,其最著名的应用是作为SVM的损失函数。 二分类情况下 多分类 扩展到多分类问题上就需要多加一个边界值,然后叠加起来。公式如下: ...
这是交叉熵公式：\begin{equation*} H(A,B)= -\sum_{i}P_{A}(x_i)log(P_{B}(x_i)) \end{equation*} 此处最重要的观察是，如果S(A)是一个常量，那么D_{KL}(A||B) = H(A,B)，也就是说KL散度和交叉熵在特定条件下等价。这个发现是这篇回答的重点。同时补充交叉熵的一些性质：和KL散度...