我们在输入加入位置编码信息,岂不是经过self attention后,位置编码信息同样也会丢失吗,确实没有错,会消失,但是Transformer经过自注意力机制后,模型使用了一下残差神经网络,又重新加入了位置编码信息,关于这方面的内容,我们后期视频分享#动图详解Transformer#动图详解Transformer#动画详解transformer 发布于 2023-08-23 0