如果是LBS或者是SMPL,是需要其为人体表面顶点,否则无法做蒙皮。因此仿照Vid2Actor的设计,论文设计了类似的Canonical Volume和Motion Weight Volume,这种设计引入了可学习的在采样范围体积内分布的权重矩阵,从而不需要在采样时区分采样点是否为表面顶点,因为训练收敛后权重矩阵在非表面顶点处的权重值很低,其计算出的结果在...
对于原视频中被人体遮挡的部分，则使用Mask R-CNN进行图像实体分割，将人体掩模膨胀4倍，以确保人体被完全遮蔽。此时，就能做到仅在背景上训练场景NeRF模型。至于人体NeRF模型训练，研究人员引入了一种端到端的SMPL优化（end-to-end SMPL optimization）和纠错神经网络（error-correction network）。SMPL（Skinned Multi-...
此时,就能做到仅在背景上训练场景NeRF模型。 至于人体NeRF模型训练,研究人员引入了一种端到端的SMPL优化(end-to-end SMPL optimization)和纠错神经网络(error-correction network)。 SMPL(Skinned Multi-Person Linear Model)是一种基于顶点的人体三维模型,能够精确地表示人体的不同形状和姿态。 如下图所示,使用端到端...
此时,就能做到仅在背景上训练场景 NeRF 模型。 至于人体 NeRF 模型训练,研究人员引入了一种端到端的 SMPL 优化(end-to-end SMPL optimization)和纠错神经网络(error-correction network)。 SMPL(Skinned Multi-Person Linear Model)是一种基于顶点的人体三维模型,能够精确地表示人体的不同形状和姿态。 如下图所示,...
最后,再应用SMPL网格和场景的点云叠加,就形成了新图像的渲染效果。 最终成品显示,该场景NeRF模型方面模型能够有效地去除场景中的人类,并在有限的场景覆盖下生成高质量的新背景渲染图像。 人物NeRF模型方面也能很好的捕捉人体的细节,包括袖子、衣领甚至衣服拉链,甚至在渲染新动作时,能执行难度极大的侧翻动作。
至于人体NeRF模型训练,研究人员引入了一种端到端的SMPL优化(end-to-end SMPL optimization)和纠错神经网络(error-correction network)。 SMPL(Skinned Multi-Person Linear Model)是一种基于顶点的人体三维模型,能够精确地表示人体的不同形状和姿态。 如下图所示,使用端到端的SMPL优化的人体模型,能够更好地表现人体的...
最后,再应用SMPL网格和场景的点云叠加,就形成了新图像的渲染效果。 最终成品显示,该场景NeRF模型方面模型能够有效地去除场景中的人类,并在有限的场景覆盖下生成高质量的新背景渲染图像。 人物NeRF模型方面也能很好的捕捉人体的细节,包括袖子、衣领甚至衣服拉链,甚至在渲染新动作时,能执行难度极大的侧翻动作。
然后,基于SMPL模型估计场景边界,接着,Neural Body会预测这些点的体积密度和颜色。 在体绘制的基础上,通过对渲染图像和观测图像的比较,对模型进行了优化。 五、训练 与基于帧的重建方法相比,该方法利用视频中的所有图像来优化模型,并拥有更多的信息来恢复3D结构。
通常,基于3D高斯的方法首先使用SMPL模板初始化高斯,然后使用线性混合蒙皮(LBS)将表示变形到观测空间中。然后通过多视图(图8a)或单目视频(图8b)渲染和监督高斯。此外,一些方法专门用于重建人头头像(图8c),而一些方法则专注于可推广的管道,而不是每个主题的优化。
通常,基于3D高斯的方法首先使用SMPL模板初始化高斯,然后使用线性混合蒙皮(LBS)将表示变形到观测空间中。然后通过多视图(图8a)或单目视频(图8b)渲染和监督高斯。此外,一些方法专门用于重建人头头像(图8c),而一些方法则专注于可推广的管道,而不是每个主题的优化。