FaceBook提出了完全基于Convolution的Seq2Seq模型,采用非局部的层叠卷积方式来建模输入sequence中词与词的dependency关系。但基于传统卷积的seq2seq模型也有两个明显缺点:1、参数多,计算复杂度高,Batchsize、隐层神经元数目都不能设大,特别在decoder端非常明显;2、模型不容易训练:encoder或decoder层叠卷积层数目超过10层,...
FaceBook提出了完全基于Convolution的Seq2Seq模型,采用非局部的层叠卷积方式来建模输入sequence中词与词的dependency关系。但基于传统卷积的seq2seq模型也有两个明显缺点:1、参数多,计算复杂度高,Batchsize、隐层神经元数目都不能设大,特别在decoder端非常明显;2、模型不容易训练:encoder或decoder层叠卷积层数目超过10层,...
基于RNN(LSTM、GRU)的Seq2Seq模型在自然语言处理领域取得了巨大成功,特别是对机器翻译领域,神经机器翻译(NMT)已经完全替代了以前的统计(SMT)。但基于RNN的Seq2Seq有2个致命缺点:1、基于sequence中t-i的context计算t时刻估计,不适合并行计算,因此计算效率低;2、基于attention来计算source language与target language之间...