今天要实现的3D Gaussian Splatting(3DGS)则实现了实时渲染,并且可以很好地嵌入到现有的图形管线中去。 3DGS算法将场景中的物体用3D高斯(本质是一种椭球)来表示,这与之前的体素类算法很像,比如VXGI等。但是3DGS厉害的点就是用了高斯作为基底来表达场景,高斯的一些优良的性质可以很大程度地提升渲染和优化的速度。
在几何方面,GaussianEditor[134]使用提高斯语义跟踪的文本提示和语义信息来控制3DGS,从而实现3D修复、物体移除和物体合成。GaussianGrouping[135]在来自SAM的2D掩码预测和3D空间一致性约束的监督下,同时重建和分割开放世界3D物体,这进一步实现了包括3D物体移除、修复和合成在内的各种编辑应用,具有高质量的视觉效果和时间效率。
4、基于3D Gaussian Spaltting的SLAM 最近2个月3D Gaussian Spaltting在SLAM领域出现了大量开创性的新工作,列举几个 一个月前,上海AI实验室、复旦大学、西北工业大学、香港科技大学等发布了GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting。说是第一个在SLAM系统中使用3D Gaussian Splatting表达的工作。在...
结果表明,基于3D高斯喷洒的方法在所有评估指标上明显优于NeRF方法。例如,DrivingGaussian-L在PSNR方面比S-NeRF高出3.31dB,显示了3D高斯喷洒在自动驾驶场景中的巨大潜力。 在人物建模方面,作者使用了ZJU-MoCap数据集,并与基于3D高斯喷洒的方法进行了比较。结果表明,基于3D高斯喷洒的方法在渲染质量和速度方面都表现出更好...
近期，3D Gaussian Splatting（3DGS）因其高质量和实时渲染的能力，为辐射场交互式 3D 分割带来了新的突破。它采用一组 3D 彩色高斯来表示 3D 场景，高斯的平均值表示它们在 3D 空间中的位置，因此 3DGS 可以看作是一种点云，它有助于绕过对空旷 3D 空间的大量处理，并提供丰富的显式 3D 先验。有了这种...
一坑未平，一坑又起。去年年末，我们的AI合作伙伴突然给山海鲸技术团队丢来了一个新技术-3D Gaussian Splatting。我们的理解中，一直认为Nerf类似的技术还是实验室里的玩具，没想到这么快就可以实际应用了。我们技术团队一向自认无所不能，怎么能在AI领域毫无建树呢。于是作为一名有好胜心的技术负责人，必须拉来团队...
其实3D Gaussian Splatting(https://github.com/graphdeco-inria/gaussian-splatting)和MVS,SFM,Nerf这类比较类似,但是我们发现辐射场一类场景表示方法已经在新视角渲染任务上得到了革命性的进展,但是在高分辨率图片上由于需要使用神经网络,导致训练和渲染都需...
Mip-Splatting: Alias-free 3D Gaussian Splatting:无别名的3D高斯溅射 Splatter Image: Ultra-Fast Single-View 3D Reconstruction:超快速单视图3D重建 PhysGaussian:Physics-Integrated 3D Gaussians for Generative Dynamics:用于生成动力学的物理集成3D高斯分布(jpg变gif,即将开源) ...
代码:https://github.com/ingra14m/Deformable-3D-Gaussians 单目动态场景(Monocular Dynamic Scene)是指使用单眼摄像头观察并分析的动态环境,其中场景中的物体可以自由移动。单目动态场景重建对于理解环境中的动态变化、预测物体运动轨迹以及动态数字资产生成等任务至关重要。
可微的 3D Gaussian Splatting 本文的目的是优化一个从 SfM 得到的稀疏点集开始的允许高质量新视角合成的场景表征。为了达到这一目标,作者需要一个基元,其能够继承可微体积表征这一性质,同时是非结构化的和显式的,以允许非常快速的渲染。作者选择了 3D 高斯:可微并易于映射到二维平面,从而能够满足快速的α混合的渲...