Zack Savitsky| 作者乌穆语、梁金| 译者任超| 审校Quanta | 来源原文链接：https://www.quantamagazine.org/what-is-entropy-a-measure-of-just-how-little-we-really-know-20241213/参考文献[1]https://www.quantamagazine.org/how-maxwells-demon-
摘要:预训练语言模型已经改变了自然语言处理领域的格局。大型语言模型经过巨量文本数据的训练,可获得丰富多样的语言表示能力。与总是预测序列中下一个 token 的自回归模型相比,像 BERT 这样的掩蔽语言模型(MLM)会根据上下文预测输入 token 的掩蔽子集,由于具有双向性质,此方法效果通常更佳。此种方法是把模型限制为只掩...