按照Transformer模型的设计,其PosItional Encoding 位置编码的数学公式如上图,Transformer模型的作者,为了方便与简化模型的计算量,使用cos 与 sin 函数来进行位置编码,很明显,三角函数的位置编码有十分明显的周期与循环性,可以通过cos 与 sin 函数的特点来推导出位置编码的特性。正弦位置编码的另一个特点是它允许模型很