Transformer模型的位置编码 | 在RNN循环神经网络结构中,由于其模型结构的设计,其RNN模型天生存在一个输入输出序列的关系,其序列关系就是按照句子的输入顺序,这就让RNN模型天生存在位置信息,无论模型如何训练,其位置信息不会丢失。但是在Transformer模型中,其由于模型进行self-attention后,模型便会丢失位置信息,丢失位置信息...