预训练BERT_LIKE模型 描述:此 Python 脚本旨在使用 Transformer 库训练屏蔽语言模型 (MLM)。 它包括从多个文本文件加载和标记文本数据、为 MLM 训练准备数据以及在处理后的数据上训练类似 BERT 的模型的功能。 它支持处理长文本文档,方法是将其分割成较小的片段以适应模型的最大输入大小,并根据需要填充较短的片段。