论文提出了一种基于自回归空白填充的通用语言模型(GLM)来应对这一挑战。GLM通过添加2D位置编码和允许任意顺序预测跨度来改进空白填充预训练,这导致在NLU任务上的性能优于BERT和T5。同时,通过改变空白的数量和长度,可以针对不同类型的任务对GLM进行预训练。在NLU、条件生成和无条件生成的广泛任务中,在给定相同的模型...