针对上述挑战,SketchFaceNeRF 利用了三平面的表示方法,基于线稿直接预测人脸三平面特征,投影至生成模型的隐空间,得到高质量的人脸 NeRF。多视角的三维人脸编辑问题则被建模为优化问题,通过三平面的局部融合及投影方法预测初值,并基于线稿约束和图像约束反向优化隐码,得到高质量的人脸 NeRF 编辑效果。 Part 2 SketchFace
导读:本文提出了一种新的说话人脸合成框架,该框架在NeRF中加入了基于注意力的解耦模块,从而可以使NeRF在渲染重建过程中,图像生成质量和嘴型同步提高都有得到不同程度的提高。©️【深蓝AI】编译 1. 方案提出 由音频驱动的说话人脸合成(talking face synthesis)是多维信号处理和多媒体邻域中的研究热点之一。通过引入...
最近的研究利用神经辐射场(NeRF)作为基本表示,进一步增强了多视角人脸重演在照片真实感和 3D 一致性方面的性能。 然而,在不同人脸 NeRF 之间建立密集对应关系并非易事,因为隐式表示缺乏地面实况对应注释,例如具有索引对齐顶点的基于网格的 3D 参数模型(例如 3DMM)。 虽然将 3DMM 空间与基于 NeRF 的人脸表示对齐...
针对上述挑战,SketchFaceNeRF 利用了三平面的表示方法,基于线稿直接预测人脸三平面特征,投影至生成模型的隐空间,得到高质量的人脸 NeRF。多视角的三维人脸编辑问题则被建模为优化问题,通过三平面的局部融合及投影方法预测初值,并基于线稿约束和图像...
人脸NeRF 精确编辑 为了支持任意视角的线稿人脸编辑,该工作提出一种三维一致的人脸线稿渲染方法,为 EG3D 添加额外的线稿生成分支,与图像生成分支共享相同的 StyleGAN 主干网络,但具有不同的解码器和超分辨率模块。训练过程则使用线稿真值作监督,并添加正则化项约束线稿视角一致性。
近期,研究人员提出了基于线稿的三维人脸神经辐射场生成和编辑方法 SketchFaceNeRF [1],相关技术论文发表在计算机图形学顶会 SIGGRAPH 2023,并被收录于图形学顶级期刊 ACM Transactions on Graphics。 高真实感且精确可控的三维人脸建模是数字人构建中的重要问题之一。目前,使用现有的基于网格的人脸建模方法需要专业的人员...
人脸NeRF 精确编辑 为了支持任意视角的线稿人脸编辑,该工作提出一种三维一致的人脸线稿渲染方法,为 EG3D 添加额外的线稿生成分支,与图像生成分支共享相同的 StyleGAN 主干网络,但具有不同的解码器和超分辨率模块。训练过程则使用线稿真值作监督,并添加正则化项约束线稿视角一致性。
导读:本文提出了一种新的说话人脸合成框架,该框架在NeRF中加入了基于注意力的解耦模块,从而可以使NeRF在渲染重建过程中,图像生成质量和嘴型同步提高都有得到不同程度的提高。©️【深蓝AI】编译 由音频驱动的说话人脸合成(talking face synthesis...
人脸NeRF 精确编辑 为了支持任意视角的线稿人脸编辑,该工作提出一种三维一致的人脸线稿渲染方法,为 EG3D 添加额外的线稿生成分支,与图像生成分支共享相同的 StyleGAN 主干网络,但具有不同的解码器和超分辨率模块。训练过程则使用线稿真值作监督,并添加正则化项约束线稿视角一致性。
使用该系统,即使用户不会使用复杂的三维软件,也可以基于线稿自由创作三维人脸。先来看看使用 SketchFaceNeRF 创作的人脸效果:图1:使用线稿生成高真实感的三维人脸。进一步,在给定三维人脸后,用户在任意角度添加编辑操作:图2 使用线稿在任意视角编辑三维人脸。