1. BERT:完形填空 • 训练目标:BERT的训练目标是完成类似完形填空的任务。具体来说,它通过在输入文本中随机遮挡一些词汇(用[MASK]标记替换),然后要求模型预测这些被遮挡词汇的原始内容。 • 原理与方法:BERT采用双向Transformer编码器结构,能够同时考虑上下文信息。在预训练阶段,模型通过MLM(Masked Language Model)任...