训练要求素材为fps 25, 分辨率512*512的视频,时长 3~5 min. 经过实测,对分辨率的要求并不严格,测试使用例如720*720的分辨率也可以成功. ASR 模型准备 笔者使用wav2vec作为ASR模型,代码中直接从huggingface加载模型,如果因为网络问题无法直接使用,也可以先下载模型到本地,再修改代码为从本地路径下载,修改代码处为n...
#下载源码git clone https://github.com/ashawkey/RAD-NeRF.gitcdRAD-NeRF#创建虚拟环境conda create--namevrh python=3.10activate vrh#pytorch 要单独对应cuda进行安装,要不然训练时使用不了GPUconda install pytorch==2.0.0torchvision==0.15.0torchaudio==2.0.0pytorch-cuda=11.7-cpytorch-cnvidia conda install...
五、曦灵数字人在RAD-NeRF训练中的应用 曦灵数字人作为一种先进的数字人技术,可以与RAD-NeRF模型进行无缝对接。在RAD-NeRF模型的训练过程中,曦灵数字人可以提供高质量的人脸数据、动作数据和语音数据等,从而进一步提升模型的训练效果和性能。 例如,曦灵数字人可以通过其先进的人脸捕捉技术,为RAD-NeRF模型提供精准的...