顺着Bahdanau的工作,Luong随后也提出了将注意力机制运用到神经机器翻译任务上。Luong总共提出了两种注意力机制,分别是global注意力机制和local注意力机制,先不说二者区别在哪,说一下它们的共同点。 如上图所示,与Bahdanau注意力机制不同的是,Luong提出的两种注意力机制中,上下文信息和解码器的隐含状态是拼接到一起组成...