• 原理与方法:BERT采用双向Transformer编码器结构,能够同时考虑上下文信息。在预训练阶段,模型通过MLM(Masked Language Model)任务学习词汇在句子中的上下文表示,这种训练方式类似于人类做完形填空的过程,需要根据上下文来推断缺失的词汇。2. GPT:词语接龙 • 训练目标:GPT的训练目标是做词语接龙。具体来说,它根据上...