tokenizer使用的是bert-base-chinese，然后再添加一下bos_token、eos_token、pad_token。gpt2_model使用的是gpt2，这里的gpt2我是从0开始训练的。而不是使用别人的预训练的gpt2模型。Trainer训练器使用的就是transformers的Trainer模块。（支撑多卡并行，tensorboard等，
Morizeyao/GPT2-ChinesePublic NotificationsYou must be signed in to change notification settings Fork1.7k Star7.5k New issue Closed Description tianlongwang Sign up for freeto join this conversation on GitHub.Already have an account?Sign in to comment...
tokenizer使用的是bert-base-chinese，然后再添加一下bos_token、eos_token、pad_token。gpt2_model使用...