对于关节形状表示,Mu等人引入了关节SDF(A-SDFs)来建模具有形状和关节分离潜在空间的关节形状。他们的方法通过在测试时通过测试时适应来调整模型,从而增强了SDF的表示能力。这项工作强调了基于SDF的方法在捕获关节和可变形物体细微差别方面的多功能性和适应性,将SDF的实用性从静态形状扩展到动态模型。Mittal等人提出了Auto...
GSDF的双分支框架:包括GS分支负责渲染和SDF分支负责神经隐式表面重建。 GS分支对SDF分支的引导:利用GS分支渲染的深度图来指导SDF分支的射线采样,提高体积渲染的效率,避免陷入局部最小值。 SDF分支对GS分支的引导:利用SDF分支预测的符号距离函数值来指导GS分支的密度控制,使高斯基元在近表面区域生长,在远离表面区域被裁剪。
已经以各种方式探索了用隐式表示学习虚拟人,特别是对于NeRF和SDF表示,它们从多视图图像中表现出高质量的结果,但计算成本很高。由于3DGS的高效率,研究工作蓬勃发展,并将3DGS推向了数字人类创作。 Human body:在全身建模中,作品旨在从多视图视频中重建动态人类。D3GA首先使用可驱动的3D高斯和四面体笼来创建可动画化的...
学习具有NeRF和SDF等隐式神经表示的虚拟人化身需要很长的优化和渲染时间,并且难以生成令人满意的质量新颖的身体姿势。相反,实验证明,利用3D高斯表示可以提高训练和渲染速度,并提供对人体变形的显式控制。此外,3D高斯方法中的forward skinning避免了神经隐式表示中使用的inverse skinning中存在的对应模糊性。 通常,基于3D高...
在优化过程之后,得到的表示通常会渲染有序的结构,与实际表面不太对应。然而,基于网格的表示仍然是许多工作流程中的首选,因为它们允许使用强大的工具进行编辑、雕刻、动画和重新照明。当涉及到曲面重建时,符号距离函数(SDF)是一个不可或缺的课题。其他研究旨在通过增强3DGS的内在属性来解决这个问题。
符号距离函数(SDF)。场景几何体的另一种方法是从任意点到最近曲面的符号距离,在对象内部产生负值,在对象外部产生正值。NeuS是第一个重新访问NeRF体积渲染引擎的人,用MLP预测SDF为f(r(t)),并用ρ(t)代替α,从SDF推导如下: 截断有符号距离函数(TSDF)。最后,使用MLP预测截断的SDF允许在渲染过程中消除任何SDF值离...
这些八叉树隐式特征由SDF和RGB解码器训练,由稀疏的LiDAR范围测量和周围图像投影的RGB颜色监督。随后,获得优化的八叉树隐式表示和全局场景的彩色化3D网格。3D高斯函数的几何属性由3D网格初始化,而3D高斯函数的外观属性则通过网格顶点检索的八叉树隐式特征丰富。通过密集的深度和颜色监督,使用密集的深度和颜色监督对3D...
高斯散射不是使用NeRF中的密度场和NeuS中的SDF等隐式表示,而是利用一组由其位置、颜色、协方差和不透明度组成的各向异性3D高斯来参数化场景。与NeRF和NeuS等先前的方法相比,这种显式表示显著提高了训练和推理效率。在渲染过程中,高斯散斑还采用了NeRF之后的基于点的体绘制技术。如图2(a)所示,由于其点采样策略和隐...
然后,我们介绍一种方法,利用这种对齐方式对场景真实表面上的样本点进行对齐,并使用泊松重建从高斯分布中提取网格,与通常应用于从神经 SDF 中提取网格。 最后,我们引入了一种可选的细化策略,将高斯函数绑定到网格表面,并通过高斯泼溅渲染联合优化这些高斯函数和网格。这样可以使用传统软件(Blender、Unity、虚幻引擎等)通过...
Vid2Avatar则使用隐式的SDF模型和体积渲染来表示场景和人类。因此,NeuMan和Vid2Avatar展示了改进的重建质量。相比之下,HUGS在所有场景和指标中均达到了最先进的性能。 在表2中,HUGS进一步评估了只包含人类区域的重建误差。HUGS首先在地面真实图像中紧密裁剪...