NeRFmentation:一种新的单目深度估计数据集增强方案,利用NeRF通过场景重建和虚拟视图RGB-D图像生成来增强有限规模的数据集,可以显著提升现有最先进的单目深度估计模型性能和稳健性! 点击关注 @CVer官方知乎账号,可以第一时间看到最优质、最前沿的CV、AI工作~ NeRFmentation NeRFmentation: NeRF-
第一种,论文利用图像重建来监督视差估计,估计出一种损失--光度损失。具体来说,首先利用估计的视差图\hat d_r来wrap目标帧I_r,得到重接的参考帧\hat I^r_c,计算\hat I^r_c和I_c之间的光度差,进行center-left的监督: 然而,这一公式在被遮挡的区域中缺乏合理的监督,如帧图像的左边界或每个深度不连续的区...
传统的被动式三维重建中,首先从不同角度拍摄待重建物体的彩色图像,随后通过SfM(structure from motion)等技术获得相机位姿和模型的初始点云。随后通过深度估计、点云的稠密重建、网格重建及优化和网格贴图等流程得到最终带有贴图的模型。 主动式 在传统的主动式三维重建...
NeRF-MAT专注于材质感知的动态场景重建，利用光线追踪与深度估计，实现高质量3D场景的动态重塑。这项技术利用光线追踪与深度估计进行材质感知的场景重建，为动态场景提供强有力的支撑。NeRF-IES通过积分成像技术，模拟动态交互场景，实现对复杂光照和变形的实时响应。这项技术能够有效模拟动态交互场景，提供对复杂光照和变形...
为了充分保留和利用原始鱼眼摄像头中的视差信息,哈尔滨工业大学团队引入了MSI-NeRF,它结合了深度学习全向深度估计和新颖的视图合成。通过对输入图像进行特征提取和变形,他们构建一个多球图像作为代价体。 进一步以空间点和插值后的三维特征向量为输入,构建隐式亮度场,可同时实现全方位深度估计和六自由度视图合成。利用深度...
利用在 RealEstate10K 上训练的模型，在 NYU 以及 iBims-1 数据集上测试了单目深度估计的结果。虽然只有 RGB 和 sparse 深度监督，但 MINE 在单目深度估计任务上取得了非常接近全监督的 3DKenBurns 的性能，并大幅超越了其他弱监督的方法。其中，和 MPI 相比，此方法更不受图片 texture 的影响，在 texture 丰富...
EmerNeRF在不依赖地面真实3D边界框或深度估计和光流的预训练模型的情况下,以自我惊讶的方式学习动态场。它首先学习一个流场,对下一帧或前一帧进行前向和后向变形,然后聚合每个点的特征。为了增强语义场景理解的效用,EmerNeRF建议将诸如DINOv2特征的2D基础模型特征纳入NeRF的训练中。
Replica数据集上建图结果,包括三维重建和二维深度估计性能。可以观察到在三维重建和二维深度估计指标方面明显的进展,展示了从iMap到更近期的方法(如NID-SLAM和ADFP)的改进。值得注意的是,Loopy-SLAM在L1-深度指标上领先,紧随其后的是Point-SLAM。这表明神经点表示对生成高度准确的场景重建具有重要的潜力。在三维误差指...
将深度学习与传统几何融合是SLAM发展的趋势。过去我们看到SLAM中一些单点的模块,被神经网络所替代,比如特征提取(super point), 特征匹配(super glue),回环(NetVlad)和深度估计(mono-depth)等。相比较单点的替代,NeRF-based方法是一套全新的框架,可以端到端的替代传统SLAM,无论是在设计方法还是实现架构上。
鱼眼深度 尝试了鱼眼深度估计,但在训练过程中遇到了收敛性问题,导致结果不尽人意。鱼眼图像通常具有显著的失真和广角视角,使得与针孔相机相比,深度估计更加困难。然而,尽管缺乏深度信息,最终的鱼眼新视图渲染结果显示出良好的潜力。 训练目标 在有监督的训练中,对于有真实深度的情况,使用了度量分箱模块和SI对数损失来提...