Uncertainty-Aware Curriculum Learning for Neural Machine Translation 神经网络机器翻译(NMT)已被证明可以通过课程学习来促进,课程学习在不同的训练阶段以简单难的顺序呈现例子。关键在于数据难度和模型能力的评估。 将课程学习引入到机器翻译主要存在两个开放式问题: 1)数据难度评估 2)学习进度规划 现有工作将句子的长度...
神经机器翻译,Neural Machine Tranlation, 简称 NMT, 2014年开始兴起的机器翻译方法,逐渐应用卷积神经网络(CNN),递归神经网络(RNN),注意力机制等技术,2016年已基本全面取代传统的统计机器翻译(SMT)。Google,百度,搜狗等已上线神经机器翻译系统。
介绍:针对“Neural machine translation by jointly learning to align and translate”提出的注意力机制进行改进,提出了全局注意力机制和局部注意力机制,以及将状态作为下一时刻的输入等策略。 下载链接: 3.3 MRT训练 1. Minimum Risk Training For Neural Machine Translation 关键词:MRT训练 介绍:这个思路非常类似于oc...
神经机器翻译(Neural Machine Translation, NMT)是一种先进的自然语言处理技术,它利用深度学习中的神经网络架构来实现自动化的源语言到目标语言的翻译。与传统的统计机器翻译(Statistical Machine Translation, SMT)相比,NMT具有以下特点和优势: 端到端学习:NMT系统通过一个单一的神经网络架构对整个翻译任务进行端到端的学...
1. Minimum Risk Training For Neural Machine Translation 关键词:MRT训练 下载链接:https://arxiv.org/pdf/1512.02433v2 介绍:这个思路非常类似于och在2003年提出的MERT训练参数的思想。针对神经机器翻译,引入了最少风险训练(MRT),训练目标就是在训练...
1. Modeling Coverage for Neural Machine Translation 关键词:覆盖率;漏译;过译 下载链接:http://arxiv.org/abs/1601.04811 介绍:神经机器翻译存在过译(一些词被翻译多次)和漏译(一些词没有被翻译)问题。为了缓解这个问题,使用一个覆盖率向量来记录注意力历史,覆盖率向量作为注意力模型的输入用于调整后续的注意力,...
1. Modeling Coverage for Neural Machine Translation 关键词:覆盖率;漏译;过译 下载链接:http://arxiv.org/abs/1601.04811 介绍:神经机器翻译存在过译(一些词被翻译多次)和漏译(一些词没有被翻译)问题。为了缓解这个问题,使用一个覆盖率向量来记录注意力历史,覆盖率向量作为注意力模型的输入用于调整后续的注意力,...
作者：Ozan Çağlayan 机器之心编译 参与：蒋思源、Smith 本文总结了最近发表的论文「神经机器翻译的六大挑战（Six Challenges for Neural Machine Translation）」，并希望读者能看到神经机器翻译的不足和未来的发展方向。该论文论述的神经机器翻译（NMT）六大挑战：领域误匹配、训练数据的总量、生僻词、长句子、词...
本文总结了最近发表的论文「神经机器翻译的六大挑战(Six Challenges for Neural Machine Translation)」,并希望读者能看到神经机器翻译的不足和未来的发展方向。 该论文论述的神经机器翻译(NMT)六大挑战:领域误匹配、训练数据的总量、生僻词、长句子、词对齐和束搜索(beam search)。
Matusov, E. 2019.The Challenges of Using Neural Machine Translation for Literature.European Association for Machine Translation:Dublin, Ireland. Maučec, M. S., and Donaj, G. 2019.Machine Translation and the Evaluation of ...