Uncertainty-Aware Curriculum Learning for Neural Machine Translation 神经网络机器翻译(NMT)已被证明可以通过课程学习来促进,课程学习在不同的训练阶段以简单难的顺序呈现例子。关键在于数据难度和模型能力的评估。 将课程学习引入到机器翻译主要存在两个开放式问题: 1)数据难度评估 2)学习进度规划 现有工作将句子的长度...
Matusov, E. 2019.The Challenges of Using Neural Machine Translation for Literature.European Association for Machine Translation:Dublin, Ireland. Maučec, M. S., and Donaj, G. 2019.Machine Translation and the Evaluation of ...
神经机器翻译(Neural Machine Translation, NMT)是一种先进的自然语言处理技术,它利用深度学习中的神经网络架构来实现自动化的源语言到目标语言的翻译。与传统的统计机器翻译(Statistical Machine Translation, SMT)相比,NMT具有以下特点和优势: 端到端学习:NMT系统通过一个单一的神经网络架构对整个翻译任务进行端到端的学...
昨天中科院计算所自然语言处理团队的论文《Bridging the Gap between Training and Inference for Neural Machine Translation 》… 阅读全文 [细读经典]ACL2021最佳论文-VOLT-Vocabulary Learning via Optimal Transport for NMT 迷途小书僮 加班摸鱼 学习整理一篇ACL2021的最佳论文: 可以在显著减小词表大小的前提下,保...
1. Minimum Risk Training For Neural Machine Translation 关键词:MRT训练 介绍:这个思路非常类似于och在2003年提出的MERT训练参数的思想。针对神经机器翻译,引入了最少风险训练(MRT),训练目标就是在训练数据上最小化期望损失函数,包括训练时期的模型预测以及直接用于评估的模型参数优化一起训练。1)将评测指标作为损失...
1. Modeling Coverage for Neural Machine Translation 关键词:覆盖率;漏译;过译 下载链接:http://arxiv.org/abs/1601.04811 介绍:神经机器翻译存在过译(一些词被翻译多次)和漏译(一些词没有被翻译)问题。为了缓解这个问题,使用一个覆盖率向量来记录注意力历史,覆盖率向量作为注意力模型的输入用于调整后续的注意力,...
近两年，神经网络机器翻译（Neural Machine Translation, NMT）技术异军突起，取得了翻译质量的大幅跃升。随着其翻译准确度的提升，在文化全球化的时代背景推动下，高度成熟的翻译技术或将开启第二次全球化的浪潮。而究竟是否达成推动，那么我们就需要来观察一下，到底NMT技术发展到了何种阶段，应用到了何种阶段，以及当前...
1. Modeling Coverage for Neural Machine Translation 关键词:覆盖率;漏译;过译 下载链接:http://arxiv.org/abs/1601.04811 介绍:神经机器翻译存在过译(一些词被翻译多次)和漏译(一些词没有被翻译)问题。为了缓解这个问题,使用一个覆盖率向量来记录注意力历史,覆盖率向量作为注意力模型的输入用于调整后续的注意力,...
The Transformer-based encoder-decoder Neural Machine Translation models in Riva are based on the original Transformer paper. The main modification is to use the pre-layernorm transformer variant. For more information, refer to the NeMo Machine Translation Documentation. The 24x6 models provided with ...
Figure 2.Neural machine translation– example of a deep recurrent architecture proposed by for translating a source sentence "I am a student" into a target sentence "Je suis étudiant". Here, "" marks the start of the decoding process while "" tells the decoder to stop. Installing the...