如图所示直观地说明了这些表示,它们最近对 SLAM 方法产生了重大影响,主要是结合 NeRF 模型和较新的显式方法(如 3DGS)。 3DGS 由 Kerbl [34] 于 2023 年提出,是一种显式辐射场技术,用于高效、高质量地渲染 3D 场景。与传统的显式体表示(例如体素网格)不同,它提供了一种连续且灵活的表示,用于可微分 3D ...
近年来,基于可微渲染的突破性进展,特别是神经辐射场(NeRF)和三维高斯喷溅(3DGS),显著推动了视觉稠密 SLAM系统的发展。基于 NeRF 的神经隐式 SLAM 通过将 NeRF 模型与同时跟踪和建图相结合,实现了高质量的在线密集地图重建,并大幅提升了几何精度。在此基础上,高斯 SLAM 系统进一步拓展了研究边界,提供了更高保真的地...
GO-SLAM的精度达到最优,这也是笔者第一次见到NeRF SLAM的精度超越传统方法。这个实验做的很详细的,像之前的NICE-SLAM和iMAP也只是对比了fr1/desk、fr2/xyz和fr3/office这三个序列,但是GO-SLAM这一块对比的序列很多,还同时对比了传统方法和学习方法。但笔者对ORB-SLAM2/3的结果有些不认可,ORB-SLAM3并没有在那...
现有SLAM综述:首先,该部分简要介绍了现有的SLAM综述论文,强调了现有文献中缺乏对基于神经辐射场的SLAM技术进展的全面探索。 辐射场体积渲染理论进展:其次,该部分对辐射场的隐式、显式和混合表示方法进行了简要概述,着重介绍了NeRF和3DGS两种代表性的辐射场渲染方法,以及它们在SLAM技术中的应用。 常用数据集和评价指标:...
提出了Orbeez-SLAM,这是第一个无需预训练且能够提供密集地图的实时单目视觉SLAM,专为空间AI应用而设计。 通过结合视觉测距和快速NeRF框架,该方法实现了实时推理并生成了密集地图。 在具有挑战性的基准测试上广泛验证了Orbeez-SLAM与最先进的基线方法,展示了优越的定量和定性结果。
代码:https://github.com/thua919/NeRF-SLAM-Benchmark-CVPR24 隐式神经表示(INR)与几何渲染相结合,最近被用于实时密集 RGB-D SLAM。尽管进行了积极的研究工作,但缺乏统一的公平评估协议,阻碍了该领域的发展。在这项工作中,据我们所知,我们建立了第一个开源基准测试框架,用于评估各种常用的 INR 和用于映射和定位...
此外,几何方法和基于深度学习的方法都遇到了离散表面表示(如点云,体素哈希,体素网格,八叉树)的限制,带来了一些问题,比如稀疏的3D重建,有限的空间分辨率和重建过程中的失真等。 如何突破这些限制? 神经辐射场(Neural Radiance Fields, NeRF)的出现是一场技术革命,正在重塑SLAM系统。相比以前的方法有几个优点,包括连续...
结合ORB特征和NeRF：OrbeezSLAM结合了基于特征的SLAM和基于instantngp框架的NeRF，从而能够在单目摄像头下生成密集地图。无需预训练：该系统能够在线实时运行，无需进行预训练，满足了实际应用的需求。工作流程：特征提取与相机姿态估计：从图像流中提取特征，通过视觉里程计估计相机姿态。地图生成与优化：地图...
摘要 本文致力于开发无需预训练、能实时推理的单目视觉SLAM，满足实际应用需求。提出了Orbeez-SLAM，结合了基于特征的SLAM（如ORB-SLAM2）和基于instant-ngp框架的NeRF，使系统能够在单目摄像头下生成密集地图。Orbeez-SLAM流程如图1所示，从图像流中提取特征，通过视觉里程计（VO）估计相机姿态。地图系统通过...
NeRF-style RGB-D SLAM 隐式神经表示的最新进展已经实现了精确和密集的3D表面重建。这导致了源自NeRF或受其启发的新型SLAM系统,最初设计用于已知相机姿势的离线使用。在本节中,我们描述了这些密集神经VSLAM方法,分析了它们的主要特征,并对它们的优势和劣势进行了清晰的概述。