一是“仅编码器(encoder-only)”组(上图中的粉色部 分),该类语言模型擅长文本理解, 因为它们允许信息在文本的两个方向上流动。二是“仅解码器(decoder-only)”组(上图中的蓝色部分),该类语言模型擅长文本生成, 因为信息只能从文本的左侧向右侧流动, 以自回归方式 有效生成新词汇。三是“编码器-解码器(encoder...
但是Enodee-only结构也是可以进行生成式任务的,其做法很简单,就是将最后一个token进行mask即可。但这么做会存在一些问题: 模型很少有针对性的在训练阶段进行最后一个token的mask,因此在inference的时候会出现和训练时候不一致的情况,导致泛化能力不好。 采用Encoder-only结构的模型难以用自回归的形式进行解码导致无法...
但是Enodee-only结构也是可以进行生成式任务的,其做法很简单,就是将最后一个token进行mask即可。但这么做会存在一些问题: 模型很少有针对性的在训练阶段进行最后一个token的mask,因此在inference的时候会出现和训练时候不一致的情况,导致泛化能力不好。 采用Encoder-only结构的模型难以用自回归的形式进行解码导致无法复用...