支持多种数字人模型: ernerf、musetalk、wav2lip 支持声音克隆 支持数字人说话被打断 支持全身视频拼接 支持rtmp和webrtc 支持视频编排:不说话时播放自定义视频 1.克隆项目、安装依赖环境 #选择一个目录克隆项目cd/home/yjfeng/projectsgitclone https://github.com/Fictionarry/ER-NeRF.gitcdER-NeRF conda create-...
准确好环境,git clone 好ER-NeRF项目之后,还需要下载face-parsing模型和3DMM模型等文件。如果已经有AD-NeRF项目,则可以将下述红框中的文件直接复制到ER-NERF项目相应的目录下。 和AD-NeRF项目一样,下载好01_MorphableModel.mat 之后,需要执行convert_BFM文件。 cd data_util/face_tracking python convert_BFM.py ...
基于NeRF的方法可以用较少的训练数据实现任意分辨率的真实感渲染。但是速度慢。 DVGO直接使用密集特征网格进行加速。 Instant-NGP采用多分辨率哈希表来控制模型大小。 TensoRF将密集的3D特征网格分解为紧凑的低秩张量分量。 3、Method Decomposed Audio-spatial Encoding Module 因为线性插值的复杂性随着输入维度的增加而呈...
受这些观察结果的启发,我们明确利用空间区域的不平等贡献来指导 talking portrait 建模,并提出了一种新颖的 Efficient Region-aware talking portrait NeRF (ER-NeRF)框架,用于逼真高效的 talking portrait 合成,该框架在具有较小模型尺寸的情况下实现了高质量的渲染、快速收敛和实时推理。 本文的贡献主要在于: (1) 我...
NeRF方法基于深度学习,输入为相机姿态和真实图像,输出为场景的隐式表示。 ER-NeRF在以下几个方面进行了优化: 1.渲染公式:ER-NeRF使用更先进的渲染公式,提高了渲染质量和效率。 2.训练策略:ER-NeRF采用更有效的训练策略,加快了收敛速度并提高了模型性能。 3.网络结构:ER-NeRF修改了网络结构,引入了更多的参数,以...
这个是一个使用ER-NeRF来实现实时对话数字人、口播数字人的整体架构,其中包括了大语言回答模型、语音合成、成生视频流、背景替换等功能,项目对显存的要求很高,想要达到实时推理的效果,建议显存在24G以上。 一、环境安装 下载pytorch3d源码,如果下载不了,按上面的百度网盘下载:链接:https://pan.baidu.com/s/1xPFo...
数字人对话系统 - Linly-Talker 开箱试用语音克隆+大模型+数字人集大成 1357 -- 1:09 App Easy-Wav2Lip数字人视频演示案例 2680 1 4:36 App AI 最全的开源图片数字人 8001 1 1:17 App 数字人,wav2lip高清模型输出,帧率25帧/秒+,可做直播方案 12万 42 2:33 App SadTalker-Video-Lip-Sync免费数字...
使用ERNeRF前需要安装对应的环境 MuseTalk导入失败,原因: DLL load failed while importing ext: 找不到指定的模块。 使用MuseTalk前需要安装对应的环境 MuseTalk Error: cannot import name 'MuseTalk_RealTime' from 'TFG' (D:\ai3\Linly-Talker\TFG_init.py) 如果使用MuseTalk,请先下载MuseTalk相关模型 Trace...
亮点包括 Laen Sanches 创作的超凡脱俗的PLSTC,这是由图像制作模型 Midjourney 生成的一系列奇怪的、塑料包裹的海洋生物,令人眼花缭乱;Jake Oleson 的梦幻般的Give Again,使用了一种名为 NeRF(神经辐射场)的技术,可将 2D 照片转换为 3D 虚拟物体;还有 Sam Lawton 的《Expanded Childhood》的超现实怀旧风格,这是...
NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图、深度估计、Transformer、毫米波/激光雷达/视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、目标检测、3D目标检测、路径规划、轨迹预测、3D点云、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、四旋翼建模、无人机飞控、求职、硬件选型、...