再计算loss,公式如下为: loss= —weight*( target * pred + (1-target) * (1-pred) ) 其中target是经过one-hot编码的0 or 1,pred是经过sigmoid计算而得的0~1。 最后总结一下,sigmoid版的CrossEntropyLoss执行步骤: 对label target进行one-hot编码 根据ignore_index,若某正样本的label target为ignore_...
在loss=-tf.log(label_prob+1e-10)时候的 Label_prob包含 “neg label”取neg的概率 “pos label”取pos的概率. Loss的值”不恰当地”让neg的也计算成了pos的公式: a) Y* = 0时,neg,采用loss=1-log(p), 但这里使用的loss=-log(p) b) Y* = 1 时, pos,采用loss=-log(p). 这里是正确的. ...
具体的公式如下图所示。 contrastive loss 其中, 表示利用生成阶段的测评分数 排序后的摘要, 是依据排序顺序差得到的margin,而 是模型的超参数,用来调节每两个相邻的位置差会带来多大的间隔。 心得体会 Reference-free Evaluation 个人感觉,本文属于比较简单的粗暴的。第二阶段所谓的Reference-free Evaluation,其实就是...