2.1 认识Transformer架构学习目标了解Transformer模型的作用.了解Transformer总体架构图中各个组成部分的名称.Transformer模型的作用基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译,…
第二章:Transformer架构解析 一、概述 Transformer模型主要由编码器(Encoder)和解码器(Decoder)两部分组成,其核心思想是利用自注意力(Self-Attention)机制实现序列到序列的映射。相较于传统的循环神经网络,Transformer具有以下优势: 1.并行计算:Transformer允许对整个序列进行并行处理,大大提高了计算效率。 2.长距离依赖:...