2.roberta-wwm 2.1 wwm策略介绍 Whole Word Masking (wwm),暂翻译为全词Mask或整词Mask,是谷歌在2019年5月31日发布的一项BERT的升级版本,主要更改了原预训练阶段的训练样本生成策略。 在原BERT、RoBERTa中,由于是英语语料,切词采用的是WordPiece, 是比词更小的粒度,词根切词法,如predict 这个词被切分成pre、##...