EMO:基于最优传输思想设计的分类损失函数 - 科学空间|Scientific Spaceskexue.fm/archives/9797 众所周知,分类任务的标准损失是交叉熵(Cross Entropy,等价于最大似然MLE,即Maximum Likelihood Estimation),它有着简单高效的特点,但在某些场景下也暴露出一些问题,如偏离评价指标、过度自信等,相应的改进工作也有很多,...
基于最优传输思想设计的分类损失函数EMO解决了交叉熵损失函数在某些场景暴露的一些问题,如偏离评价指标、过度自信等,它源于交叉熵损失函数,能大幅提高 LLM 的微调效果。 交叉熵损失函数是最常用的一种损失函数。在机器学习中,损失函数是衡量模型性能的关键性指标,它不仅指导着模型的训练过程,影响模型的优化方向,还直接...
EMO:基于最优传输思想设计的分类损失函数 - 科学空间|Scientific Spaces 本文介绍了交叉熵损失的一个新的“替代品”——基于最优传输思想的EMO,与以往的小提升不同,EMO在LLM的继续训练评测中取得了较为明显的提升。 发布于 2023-10-13 17:27・IP 属地广东 ...