以下是中文 Bert-wwm 的简单使用方法: 1. 安装 transformers 库:使用 pip 命令安装 transformers 库,该库提供了调用 Bertwwm 模型的接口。 复制代码 pip install transformers 2. 加载模型和 tokenizer:使用 transformers 库中的 BertTokenizer 和 BertForSequenceClassification 类加载预训练模型和分词器。 复制代码 ...
直接把basic_tokenizer替换成中文分词就行了，考虑的话自己在改把改把把
我在使用hfl/chinese-roberta-wwm-ext-large模型,在下游任务上微调mlm_loss的时候发现loss是300多,并且一直升高; 我用模型测试了几个mask句子任务,发现只有hfl/chinese-roberta-wwm-ext-large有问题,结果如下 我测试使用的是transformers里的TFBertForMaskedLM,具体代