三维高斯样条(3DGS)在视觉同时定位与地图构建(VSLAM)中的初步应用展示了从单目视频流生成高质量体积重建的潜力。然而,尽管取得了这些令人鼓舞的进展,但与传统的VSLAM相比,当前的3DGS集成在跟踪性能和运行速度方面仍有待提高。为了解决这些问题,我们提出将3DGS与直接稀疏里程计(一种单目光度SLAM系统)相结合。我们已进行...
基于NeRF的SLAM算法采用全局地图和图像重建损失函数，通过可微分渲染捕获稠密的光度信息，具有高保真度。但是...
3D Gaussian Splatting(3DGS)是近一年计算机视觉领域最有突破性的工作之一,不仅仅在学术界席卷计算机视觉、SLAM等领域,每天都有大量基于Gaussian Splatting的新工作出现,而且距离落地应用也特别近,多家商业公司致力于3DGS的商业化落地。 神经网络辐射场NeRF方法彻底改变了多张照片或视频主导的场景新视角合成的算法生态,...
GS-SLAM通过利用3D高斯作为表示,结合飞溅渲染技术,引入了一种范式转变。与依赖神经隐式表示的方法相比,GS-SLAM通过采用一种新方法,利用3D高斯以及不透明度和球面谐波来封装场景几何结构和外观,从而大大加速了地图优化和重新渲染,如图6所示。 Photo-SLAM。这项工作将显式几何特征和隐式纹理表示集成在超基元地图中。该方...
代码链接:https://github.com/lab-of-ai-and-robotics/gs_icp_slam 2. 摘要 同时定位与地图构建(SLAM)在机器人学、虚拟现实(VR)和增强现实(AR)应用中起着关键作用。近期对于密集表示SLAM的进展突显了利用神经场景表示和3D高斯表示来实现高保真空间表示的潜力。本文提出了一种新颖的密集表示SLAM方法,采用广义迭代最...
项目主页: https://vita-group.github.io/MM3DGS-SLAM 同时定位与建图对于位置跟踪和场景理解至关重要。基于3D高斯模型的地图表示能够利用多摄像机对场景进行真实感重建和实时渲染。我们首次表明,使用未放置的相机图像和惯性测量使用3D高斯进行地图表示可以实现精确的SLAM。我们的方法,MM3DGS,通过实现更快的渲染,尺度...
首个基于激光雷达惯性相机融合的3DGS-SLAM系统,实现了高度精确的姿态跟踪和逼真的在线地图构建。 利用顺序着色激光雷达点云作为先验,以在线方式重建高斯地图。利用精心设计的一系列策略,逐步扩展高斯地图并自适应地控制其密度,以实现高效率和准确性。 在室内外场景中经过广泛验证,展示了在逼真地图制作方面的最新性能。在...
实现了优于当前最先进的3DGS SLAM基线的定量和定性轨迹跟踪和光度渲染结果:与当前最先进的基于3D高斯映射的SLAM基线相比,MM3DGS在轨迹跟踪方面实现了3倍改进,在光度渲染质量方面实现了5%的提升。 3、方法 多模态SLAM框架MM3DGS的方法,具体包括以下主要内容: ...
利用3D-GS,3D感知有可能增强开放词汇语义目标检测和定位(图7a)、3D分割(图7b)、运动目标象跟踪(图7c)和SLAM系统的开发(图7d)。 检测 3D场景中的语义目标检测或定位过程可以显著增强对环境的理解和感知,并有利于自动驾驶系统和智能制造等应用。受ChatGPT成功的鼓舞,施介绍了专门为开放词汇查询任务设计的场景表示语...
总的来说,作者提出的NGM-SLAM系统成功地将神经辐射场的表达力与3DGS的高效渲染能力相结合,通过创新性的子图管理和闭环检测策略,克服了大场景建图和实时性要求的挑战,并以其稳健的跟踪性能和监督精度,展现出广泛的应用前景,这无疑将开启一股融合...