3DGS技术因其性能卓越而备受关注,3DGS-SLAM系统应运而生。然而,当前3DGS-SLAM系统通常在大场景表示、有效的闭环校正和场景泛化能力方面存在缺陷。为此,论文作者设计了NGM-SLAM,这是第一个利用神经辐射场子图用于渐进式场景表示的GS-SLAM系统,有效地结合了神经辐射场和3DGS的优势,实现了最先进的场景重建和跟踪性能。...
GS-SLAM具体是怎么做的? GS-SLAM的输入是RGBD序列和相机内参,将3D场景建模为3D高斯,利用3D高斯splatting渲染RGB和Depth,计算光度损失和深度损失来优化位姿和场景,输出是相机位姿和稠密NeRF场景。 主要创新在于,GS-SLAM不使用隐式特征表示地图,而是利用3D高斯表示场景,使用基于splatting的光栅化来渲染图像,这个过程非常...
激光雷达(LiDAR)和相机作为两种常用于场景重建的传感器,推动了SLAM技术的发展。传统激光雷达SLAM利用点云中的几何和精确深度信息进行精确定位。近期,神经辐射场(Neural Radiance Fields,NeRFs)和三维高斯溅射(3D Gaussian Splatting,3DGS)的出现,为视觉SLAM提供了更详细的环境表征。传统的地图表征方式,如点云、体素和曲面...
对输入的图像进行一次相机位姿追踪,通过做视觉SLAM的形式还原相机的位姿,并生成对应的深度信息,两个优化的函数分别是利用重投影误差以及深度作为监督,只是这里作者为了提升计算速度,直接将视差作为优化项代入了,减少了一步从视差到深度的换算。
随后,对子图输入的关键帧计算深度和颜色损失。接着更新活动子图中3D高斯的参数。这个过程重复固定的迭代次数。 3. 和其他SOTA方法对比如何? ScanNet数据集上的渲染效果对比,相比NeRF SLAM有了明显提升,但同时是没有对比其他GS SLAM。 对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~...
1、LIV-GaussMap(https://github.com/sheng00125/LIV-GaussMap),港科大沈邵劼组的成果,用LI里程计初始化GS地图,再用光度梯度优化高斯和球谐,开放了github但是代码暂未开源。 2、MM3DGS SLAM(开源了,https://vita-group.github.io/MM3DGS-SLAM/)、Gaussian-LIC(没开源,https://arxiv.org/pdf/2404.06926),...
3D Gaussian Splatting(3DGS)是近一年计算机视觉领域最有突破性的工作之一,不仅仅在学术界席卷计算机视觉、SLAM等领域,每天都有大量基于Gaussian Splatting的新工作出现,而且距离落地应用也特别近,多家商业公司致力于3DGS的商业化落地。 神经网络辐射场NeRF方法彻底改变了多张照片或视频主导的场景新视角合成的算法生态,...
本文提出了首个基于3DGS的稠密语义SLAM方法,主要是通过在计算损失时添加语义特征指导3D高斯优化和提出了基于语义感知的BA这两个方法对语义SLAM框架进行扩充和改进,实验结果表明:该方法在跟踪精度、渲染质量、语义分割效果等方面都要远远优于基于辐射场...
MM3DGS-SLAM Lisong C. Sun*·Neel P. Bhatt*·Jonathan C. Liu·Zhiwen Fan Zhangyang Wang·Todd E. Humphreys·Ufuk Topcu * Equal contribution and co-first authors Project Page|Video|Paper|Dataset Framework As shown above, we present the framework for Multi-modal 3D Gaussian Splatting for SLAM...
[CV] MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements http://t.cn/A6TXJUcu 提出一种将单目视觉、深度与惯性测量相结合的实时3D SLAM方法,可...