Transformer中抛弃了传统的CNN和RNN,整个网络结构完全由Attention机制组成,并且采用了6层Encoder-Decoder结构。 显然,Transformer主要分为两大部分,分别是编码器和解码器。 整个Transformer是由6个这样的结构组成,为了方便理解,我们只看其中一个Encoder-Decoder结构。 以一个简单的例子进行说明: Why do we work?,我们为什...
指的是Layer Norm方式，也就是在对每一层神经元的输入值进行norm操作，因为过神经网络的话，是一个样...