model_name = 'bert-base-chinese' MODEL_PATH = 'F:/Transformer-Bert/bert-base-chinese/' # a. 通过词典导入分词器 tokenizer = BertTokenizer.from_pretrained(model_name) # b. 导入配置文件 model_config = BertConfig.from_pretrained(model_name) # 修改配置 model_config.output_hidden_states = True...
把这个 span 下的每一个 token 的 token_id 都置为 [MASK] 对应的 id，这样就生成了训练样本。