自注意力机制学习输入的向量序列向量与向量之间的关系, 找到与某个向量相关的向量 计算关联性的module如上两种, 以下用左边的例子 以下是计算的矩阵表示: 多头自注意力机制也有广泛应用 有时需要考虑向量在序列的位置
强烈推荐!最适合小白的Transformer和注意力机制可,李宏毅大佬亲授!附课程+PPT+源码+课后作业#人工智能 #深度学习 #transformer #注意力机制 - 人工智能论文搬砖学姐于20240317发布在抖音,已经收获了20.2万个喜欢,来抖音,记录美好生活!