Street Gaussians的动机 在自动驾驶领域,动态街景重建有着重要的应用场景,比如数据生成、自动标注、闭环仿真等。由于对重建质量和效率有较高的要求,这方面的技术仍旧临着巨大的挑战。 对于单目视频建模动态城市街景的问题,近期方法主要是基于NeRF并结合跟踪车辆的姿态,从而重建出高真实感的视图。然而训练和渲染速度慢、对...
元旦一过,2024年1月2日浙江大学联合理想汽车联合发布了一份名为《Street Gaussians for Modeling Dynamic Urban Scenes》的研究成果,该项研究成果基于当前热门的3D Gaussian技术,旨在实现利用单目视频对城市街道3D场景的合成建模。 该项成果由于是基于3D Gaussian模型,所以相对于其他基于NeRF的方案(比如MARS),可以获得更...
Tesla 之前使用NeRF(体素渲染), 基于视觉的体素重建工作,而理想这次选择了更加前沿的Gaussian Splattting(高斯泼溅,通过在三维空间中分布一系列高斯函数来表示场景,并使用点云渲染以实现高效的图像生成,后文称为GS),它解决了NeRF 难以实时渲染的问题,也就能做到实时测试。而Street Guassian 就是GS 在自动驾驶领域的...
我们提出了Street Gaussians,这是一种新的显式场景表示方法,可以解决所有这些限制。 开源链接: Street Gaussians for Modeling Dynamic Urban Scenes https://zju3dv.github.io/street_gaussians/ 方法简介 在Street Gaussians中,动态城市街道被表示为一组3D高斯的点云,每个点云与前景车辆或背景之一相关联。为了模拟...
NeRF、3D Gaussian Splatting、Street Gaussian,几项技术在自动驾驶重建仿真训练中发挥重要作用,这里尝试用大白话进行简单梳理: 先说 NeRF (神经辐射场): 2020年首次出现并于2022 年特斯拉在AI Day,配合车...
2024 年伊始,浙江大学与理想汽车的研发团队提出了一种名为Street Gaussians的模型化方法,该方法主要用于动态城市场景建模,通过动静合成能力实现场景仿真。与《三维视觉新范式:深度解析NeRF与3DGS技术》一书9.5节中NeRF 在自动驾驶里的应用一致,该方法是在自动驾驶仿真方向上使用 3DGS 实现的版本。二者的 street Gauuss...
考虑到自动驾驶场景中都是通过车载相机得到图像序列,我们希望构建一个模型,可以生成任意时间和视角的高质量图像。为实现这一目标,我们提出了一种新颖的场景表示,命名为 Street Gaussians。 如下图所示,我们将动态城市街景表示为一组点云,每个点云对应静态背景或移动车辆---这种基于点的表示可以轻松组合多个独立的模型...
Street Gaussians的动机 在自动驾驶领域,动态街景重建有着重要的应用场景,比如数据生成、自动标注、闭环仿真等。由于对重建质量和效率有较高的要求,这方面的技术仍旧临着巨大的挑战。 对于单目视频建模动态城市街景的问题,近期方法主要是基于NeRF并结合跟踪车辆的姿态,从而重建出高真实感的视图。然而训练和渲染速度慢、对...
Street Gaussians概览如下所示,动态城市街道场景表示为一组具有可优化tracked车辆姿态的基于点的背景和前景目标。每个点都分配有3D高斯,包括位置、不透明度和由旋转和比例组成的协方差,以表示几何体。为了表示apperence,为每个背景点分配一个球面谐波模型,而前景点与一个动态球面谐波模型相关联。显式的基于点的表示允许简...
Street Gaussians概览如下所示,动态城市街道场景表示为一组具有可优化tracked车辆姿态的基于点的背景和前景目标。每个点都分配有3D高斯,包括位置、不透明度和由旋转和比例组成的协方差,以表示几何体。为了表示apperence,为每个背景点分配一个球面谐波模型,而前景点与一个动态球面谐波模型相关联。显式的基于点的表示允许简...