3. 可扩展性:Transformer 模型的结构简单清晰,易于理解和修改,可以方便地进行扩展和改进。Transformer模型由多个堆叠的自注意力层(Self-Attention Layer)和前馈神经网络层(Feed Forward Network Layer)组成,这种结构具有很强的模块化特性,可以根据任务需求调整层数、头数等参数,适应不同的应用场景。
首先需要明确的是 MoE 肯定不是非常新的架构,因为早在 2017 年,谷歌就已经引入了 MoE,当时是稀疏门控专家混合层,全称为 Sparsely-Gated Mixture-of-Experts Layer,这直接带来了比之前最先进 LSTM 模型少 10 倍计算量的优化。2021 年,谷歌的 Switch Transformers 将 MoE 结构融入 Transformer,与密集的 T5-Base ...