self-attention计算过程 概念self-attention从字面上看,就是自己对自己的注意力。 了解过注意力机制的都知道Q,K,V,在self-attention中,Q,K,V是相同的字嵌入X乘以训练得到的权重得到的。 它也符合注意力机制的计算过程,主要分为以下三部分计算 阶段一 对输入的单词进行词嵌入得到X,X分别与权重计算得到了Q(查询...