2. NeRF-SLAM特点 本工作提出了的场景重建方法结合了单目稠密SLAM和层次化体素神经辐射场的优点,使用Droid-SLAM,稠密的光流估计,从而估计出了深度的不确定度。把深度图,深度的不确定度和相机位姿输入到NeRF网络里进行监督(残差引入了深度)。一个线程用来跟踪,另一个线程用来监督和渲染。具体如下。 算法包含跟踪和建...
传统的NeRF训练需要非常精确的位姿,并且NeRF SLAM反向传播优化位姿时,对位姿初值很敏感,容易陷入局部最优。 核心思想是什么? 光滑信号相较复杂信号更容易找到全局最优解,所以优化过程如果能平滑一些,就不容易陷入局部最优。 具体如何实现? 这篇文章是很早将BA引入NeRF SLAM的工作,给定不完美的位姿也可以训练NeRF。主要...
一方面是NeRF本身训练慢渲染慢很难达到实时,另一方面是现在大多NeRF SLAM的定位精度很难和传统SLAM相比,还有一些对运行GPU要求高、落地难等等的问题。而且由于NeRF本身更偏向于室内场景,所以很多NeRF SLAM都没办法做室外。前段时间开源的NeRF-LOAM算是开了先河,感兴趣的小伙伴可以关注一下。这里也推荐「3D视觉工坊」新...
现有的NeRF SLAM一方面严重依赖隐式表示,计算量非常大,很难部署在嵌入式设备上,一方面需要深度信息来加快NeRF收敛。所以现有的NeRF SLAM大多停留在理论阶段。 Photo-SLAM这项工作就希望在嵌入式设备上同时实现精确定位和在线真实感建图,也是第一个基于超基元地图的NeRF SLAM方案,而且适应单目、双目、RGBD三种模式!这里...
NeRF与SLAM中的3DGS。大部分依赖MLP(s)的NeRF风格SLAM非常适合新视图合成、映射和跟踪,但面临着过度平滑化、灾难性遗忘的易受影响性以及由于其依赖于每像素射线行军而导致的计算效率低下等挑战。3DGS通过不进行每像素射线行军并通过不同可微的光栅化对基元进行稀疏化利用,从而实现了对SLAM的显式体积表示,快速渲染,丰...
所有现有基于 NeRF 的 SLAM 系统使用单一的全局表示整个环境,3个关键因素限制了它们的场景表示能力: 单一、固定容量模型无法表示任意长度的视频。 单一场景表示容易过拟合序列中的早期数据,导致在学习后续数据时表现不佳。 任何错误估计(如异常姿态)都会对整体产生影响,可能导致错误的重构。
与现有的NeRF-SLAM系统相比,我们的方法在跟踪性能上始终表现出更强的竞争力。我们的方法采用体积密度表示,并引入了一种新的KL正则化器在射线终止分布上,将场景几何限制为空隙空间和不透明表面。我们的解决方案实现了局部和全局束调整,以产生一个稳健(粗细粒度)和准确(KL正则化)的SLAM解决方案。
NeRF的提出，促使许多工作探索将隐式场景表示与SLAM系统结合，以提升重建精度。然而，实时增量NeRF-SLAM仍面临关键挑战：实时性与大规模场景建模。本文提出PLGSLAM，一种基于渐进式场景表示的系统，旨在优雅地融合NeRF与传统SLAM。PLGSLAM的核心在于动态初始化局部场景表示，当摄像头移动至当前表示边界时，系统...
早期TSDF融合技术引领了致密视觉SLAM与在线建图的研究,KinectFusion开启了实时深度建图与跟踪。后续研究不断优化数据结构、引入环路闭合等提升系统性能,同时学习方法也在致密建图中发挥作用。随着可微分渲染器的兴起,诸如NeRF相关技术推动了全致密SLAM流...
基于以上问题,我们整理目前比较知名的基于视觉的NeRF SLAM开源框架有: ……计算机视觉life联和哈尔滨工业大学汪寿安博士,经过周密准备,推出了全网首个理论+实践的NeRF SLAM课程《快速上…