而交叉熵呢,它看起来也像是个“距离”,但是它和KL散度有点像兄弟。交叉熵损失其实是KL散度加上一个常数。这是什么意思呢?简单来说,交叉熵损失不仅仅是在测量模型的预测值和真实值之间的差异,它还加入了一些“额外的惩罚”成分。这就好比你在考试中,不仅要做对题目,还要尽量少扣分。假设你答错了一道选择题,交...
交叉熵损失函数及其与熵和KL散度的关系 最小化交叉熵等价于最小化KL散度等价于最大化对数似然估计。 本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。 原始发表:2023-03-18,如有侵权请联系 cloudcommunity@tencent.com 删除 前往查看 error function sum 函数 评论 登录后参与评论 ...