Bert vits2语音合成项目已经停止维护,因此这最后一版本代码有必要分享一个部署经验。 Bert vits2项目的底模模型主要是bert +vits,训练数据主要是原神角色语音。微调训练的时候主要是微调vits模型,冻结bert模型。不包含任何speaker encoder和emotional encoder。 bert模型负责产生文本编码向量Ht。vits模型负责合成语音 wav =...
wget -P bert/deberta-v2-large-japanese/ https://huggingface.co/ku-nlp/deberta-v2-large-japanese/resolve/main/pytorch_model.bin 下载底模文件 接着下载预训练模型的底模: #@title 下载底模文件 !wget -P Data/ada/models/ https://huggingface.co/OedoSoldier/Bert-VITS2-2.3/resolve/main/DUR_0.pth...
纯中文底模效果百尺竿头更进一步,同时首次引入了大模型,使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取,基本上完全解决了发音的bad case,同时在情感表达方面有大幅提升,可以作为先前V1.0.1纯中文版本更好的替代。
wget -P bert/deberta-v2-large-japanese/ https://huggingface.co/ku-nlp/deberta-v2-large-japanese/resolve/main/pytorch_model.bin 下载底模文件 接着下载预训练模型的底模: #@title 下载底模文件!wget -P Data/ada/models/ https://huggingface.co/OedoSoldier/Bert-VITS2-2.3/resolve/main/DUR_0.pth ...
注意这里的底模要放在角色的models目录中,同时注意底模版本是2.2。 上传音频素材和重采样 随后打开目录,在lilith目录右键新建文件夹raw,接着右键点击上传,将素材上传到云端: 同时也将转写文件esd.list右键上传到项目的lilith目录: ./Data/lilith/wavs/processed_0.wav|lilith|ZH|信仰,叫你们要否定心中的欲望。
强烈推荐下载底模训练,收敛速度较快;对于单语种来说,任何版本底模均可。将下载的底膜放到图中所示的文件夹。放入后点击检查按钮,打勾代表成功。 链接:huggingface(https://huggingface.co/SpicyqSama007/Bert-VITS2-train-models/tree/main) 链接:百度网盘(https://pan.baidu.com/s/1ZA8mFnbOOQo4nOgSrE7Gig?
注意这里的底模要放在角色的models目录中,同时注意底模版本是2.2。 上传音频素材和重采样 随后打开目录,在lilith目录右键新建文件夹raw,接着右键点击上传,将素材上传到云端: 同时也将转写文件esd.list右键上传到项目的lilith目录: ./Data/lilith/wavs/processed_0.wav|lilith|ZH|信仰,叫你们要否定心中的欲望。
简介:Bert-vits2项目又更新了,更新了一个新的分支:中文特化,所谓中文特化,即针对中文音色的特殊优化版本,纯中文底模效果百尺竿头更进一步,同时首次引入了大模型,使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取,基本上完全解决了发音的bad case,同时在情感表达方面有大幅提升,可以作为先前V1.0...
下载底模文件 接着下载预训练模型的底模: #@title 下载底模文件!wget -P Data/ada/models/ https://huggingface.co/OedoSoldier/Bert-VITS2-2.3/resolve/main/DUR_0.pth !wget -P Data/ada/models/ https://huggingface.co/OedoSoldier/Bert-VITS2-2.3/resolve/main/D_0.pth ...
简介:Bert-vits2项目又更新了,更新了一个新的分支:中文特化,所谓中文特化,即针对中文音色的特殊优化版本,纯中文底模效果百尺竿头更进一步,同时首次引入了大模型,使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取,基本上完全解决了发音的bad case,同时在情感表达方面有大幅提升,可以作为先前V1.0...