基于GPT-2模型的中文文本生成项目,旨在为中文自然语言处理提供强大的文本生成能力,支持预训练和fine-tuning,适用于多种场景,如创作、对话等。 GPT2-Chinese的特点: 1. 支持中文文本生成,适应多种中文场景。 2. 基于预训练的GPT-2模型,具有较高的文本生成质量。 3. 提供多种预训练的中文模型,便于选择。 4. 支...
Chinese version of GPT2 training code, using BERT tokenizer or BPE tokenizer. It is based on the extremely awesome repository from HuggingFace teamTransformers. Can write poems, news, novels, or train general language models. Support char level, word level and BPE level. Support large training c...
--fast_pattern--save_samples---model_path=model/use_model--model_config=config/model_config_small.json--topk=8--temperature=0.8--batch_size=2# 制定模型输出python./generate.py--length=300--nsamples=4--prefix=萧炎,斗之力。--fast_pattern--save_samples--model_path=model/model_epoch18--mod...
中文的GPT2训练代码,使用BERT的Tokenizer或Sentencepiece的BPE model(感谢kangzhonghua的贡献,实现BPE模式需要略微修改train.py的代码)。可以写诗,新闻,小说,或是训练通用语言模型。支持字为单位或是分词模式或是BPE模式(需要略微修改train.py的代码)。支持大语料训练。
现在训练一个gpt2代码，其实很简单的。抛开处理数据问题，技术上就三点:tokenizer、gpt2_model、Trainer ...
①打开pycharm的file —> setting,弹出的对话框中,左侧找到Project:GPT2-Chinese,打开python interpreter,在右侧有一个设置的图标,点击,点击Add,②选择Existing environment,点击后面的三个点,③选择你安装的Anaconda3下的envs中之前我们创建的那个test环境文件中的python.exe,点击OK。等待一会儿确保pycharm支持这个python...
vocabulary:存放GPT2模型的字典 train.py:训练代码 interact.py:人机交互代码 模型参数(详见config/model_config_dialogue_small.json文件) initializer_range: 0.02 layer_norm_epsilon: 1e-05 n_ctx: 300 n_embd: 768 n_head: 12 n_layer: 10
Gitee:https://search.gitee.com/?skin=rec&type=repository&q=gpt2-chinese&repo=&reponame=(不是镜像,布吉岛为什么) 下面是踩坑记录。 1.一开始咱用的云服务器,就安装了Python 3.80,然而后面运行的时候报错(time.clock()缺失),其原因是因为time.clock已在Python 3.3中弃用,将从Python 3.8中删除:使用time....
项目地址:https://github.com/Morizeyao/GPT2-Chinese 如果Github下载太慢的可以用这个代下载:https://toolwa.com/github/ 环境准备 1.pytorch 的安装 由情况选择版本安装,安装CPU版本梢简单 # 安装时官方源下载比较慢,要换源condainstallpytorch torchvision cpuonly -c pytorch# 如果cnda装不了 选择pip的方式进...
vocabulary:存放GPT2模型的字典 train.py:训练代码 interact.py:人机交互代码 Dialogue Model Dialogue Model是基于GPT2模型的生成模型,对每条训练数据进行"顺序"拼接,然后将其输入到网络中,进行训练(此处的"顺序"是相对于MMI Model的"逆序") 例如存在如下多轮闲聊训练数据,在训练Dialogue Model时,将上述训练数据进行...