• 编码器将长度可变的序列作为输入,并将其转换为具有固定形状的编码状态。 • 解码器将具有固定形状的编码状态映射为长度可变的序列。
Kalchbrenner 等人（2016b）首次在编码器-解码器模型中引入了完整卷积过程，但他们没有对当前最佳的循环架构中加以改进。Gehring 等人（2017b）在编码器和解码器模块中用了带有线性门控单元的 1D CNN（Meng et al., 2015; Oord et al., 2016c; Dauphin et al., 2017）进行机器翻译，得到的结果比深度 LSTM ...
专利权项:1.一种基于深度卷积编码器—解码器网络的预测剩余油分布方法,包括以下步骤:步骤一、构建随机偏微分方程SPDE替代模型,实现不确定性的传播,将物理问题转换为图像到图像的回归问题;步骤二、针对图像到图像的回归问题构建深度卷积神经网络模型,以实现捕获高维输入和输出之间的复杂非线性映射关系;步骤三、将渗透率...
第一个卷积方法是编码由堆叠的词向量组成的长度可变的序列,运用 1D 卷积,再用最大池化操作聚合(Collobert and Weston, 2008; Kalchbrenner et al., 2014; Kim, 2014)。就序列生成而言,Ranzato 等人(2016)、Bahdanau 等人(2017)以及 Gehring 等人(2017a)的研究将卷积编码器和 RNN 解码器融合。Kalchbrenner 等人...
我们提出了一种可替代的方法,这种方法依赖于跨越两个序列的单个 2D 卷积神经网络。我们的网络的每一层都会根据当前生成的输出序列重新编码源 token。因此类似注意力机制的属性适用于整个网络。我们的模型得到了非常出色的结果,比当前最佳的编码器-解码器系统还要出色,而且从概念上讲我们的模型也更加简单、参数更少。
现有的当前最佳机器翻译系统都是基于编码器-解码器架构的,二者都有注意力机制,但现有的注意力机制建模能力有限。本文提出了一种替代方法,这种方法依赖于跨越两个序列的单个 2D 卷积神经网络。该网络的每一层都会根据当前生成的输出序列重新编码源 token。因此类似注意力机制的属性适用于整个网络。该模型得到了非常出色...