针对你的问题“bpe pre-tokenizer was not recognized - update get_vocab_base_pre()”,我会按照提供的tips来逐步分析和解答。 1. 确认bpe pre-tokenizer的具体含义和用途 bpe pre-tokenizer是字节对编码(Byte Pair Encoding, BPE)预处理分词器,它用于在BPE分词之前对文本进行初步处理。这种预处理可能包括将文本...