今天在 QQ 群里的讨论中看到了 Focal Loss,经搜索它是 Kaiming 大神团队在他们的论文Focal Loss for Dense Object Detection提出来的损失函数,利用它改善了图像物体检测的效果。不过我很少做图像任务,不怎么关心图像方面的应用。 本质上讲,Focal Loss 就是一个解决分类问题中类别不平衡、分类难度差异的一个 loss,总...
所以在 torch API 中可知Module、Conv2d、Linear与functional在一个层次上(conv2d与relu在他们的下一层次),那么由此类推损失函数做为深度学习的一部分也应在其中,事实确实如此,CrossEntropyLoss是常用的交叉熵损失函数就在其中,调用方法便是nn.CrossEntropyLoss。那么再思考,深度学习的训练部分是不在在其中,结果是令人...
现有的序列生成(abstractive summarization领域)方法存在训练目标和评估指标不一致的问题,这种不一致主要体现在teacher-forcing要求模型准确估计下一个token,是token-level的损失函数。而评测指标,如ROUGE会在全局比对生成的句子和基准的差异。并且,在测试阶段,模型需要持续输出一个序列,并没有中间token级别的监督输入,在解码...
def _loss(self): """ :return:使用损失函数 """ self.criterion = nn.CrossEntropyLoss() def _optimizer(self): """ :return:设置优化器 """ self.optimizer = optim.Adam(self.model.parameters(), lr=0.001) def train(self, epoch): """ 封装训练过程 :param epoch: :return: """ self.mode...