自监督单目深度估计算法可以利用海量无标注的视频数据来训练深度估计网络,实现从二维到三维的迁移。然而视频中的动态物体不符合刚性变换导致训练信号充满噪音,在这次talk中我们讲如何从大规模预训练过的模型来提取有效信息来帮助自监督算法在动态视频上进行有效训练。 Talk·信息 主题:SC-DepthV3-动态场景中的自监督单目深...
在损失函数的设置上,除了之前的几何一致性损失、光度损失外,SC-DepthV3还提出了边缘感知平滑损失来正则化预测的深度图。 在具体的评估上,SC-DepthV3在DDAD、BONN、TUM、KITTI、NYUv2和IBims-1这六个数据集进行了大量实验,定性结果显示SC-DepthV3在动态环境中具有极强的鲁棒性。定量结果也说明了SC-DepthV3在动态...
SC-Depth系列是非常经典且先进的无监督单目深度估计网络,现在已经有了V1、V2、V3三个版本。其中SC-DepthV1主要解决深度图不连续的问题,SC-DepthV2主要解决室内环境中旋转位姿对深度估计产生噪声的问题,SC-DepthV3主要解决动态环境中的单目深度估计问题。可以说这三个网络已经可以应用于大多数的场景,这样在一个方向不...
不过SC-DepthV3认为经过合适的模块设计,伪深度可以很好得促进无监督单目深度估计的结果。 解决动态区域问题的关键是作者提出的动态区域细化(DRR)模块,该方法的来源是,作者发现伪深度在任意两个物体或像素之间保持极好的深度有序度。因此,SC-DepthV3提取动态和静态区域之间的真值深度序信息,并使用它来规范动态区域的自监...
In the SC-DepthV3 (ArXiv 2022), we propose a robust learning framework for accurate and sharp monocular depth estimation in (highly) dynamic scenes. As the photometric loss, which is the main loss in the self-supervised methods, is not valid in dynamic object regions and occlusion, previous...
This repo provides the pytorch lightning implementation of SC-Depth (V1, V2, and V3) for self-supervised learning of monocular depth from video. In the SC-DepthV1 (IJCV 2021 & NeurIPS 2019), we propose (i) geometry consistency loss for scale-consistent depth prediction over time and (ii...
在得到相邻帧Ia,Ib的深度图Da,Db和他们的位姿变换Pab后,通过位姿Pab将Dawarp 到b的视角,得到网络的监督信号 photometric lossLP,同时其他两项损失即LS,LGC不是本文研究的对象,这里不再赘述,不了解的朋友可以查询 SC_Depth 原论文(LS是 SC_Depth-v3 关注的一个点)。
In the SC-DepthV3 (ArXiv 2022), we propose a robust learning framework for accurate and sharp monocular depth estimation in (highly) dynamic scenes. As the photometric loss, which is the main loss in the self-supervised methods, is not valid in dynamic object regions and occlusion, previous...
Pleaser refer to our new implementation of SC-Depth (V1, V2, and V3) at https://github.com/JiawangBian/sc_depth_pl This codebase implements the SC-DepthV1 described in the paper: Unsupervised Scale-consistent Depth Learning from Video Jia-Wang Bian, Huangying Zhan, Naiyan Wang, Zhichao ...
SC-Depth (V1, V2, and V3) for Unsupervised Monocular Depth Estimation Webpage:https://jiawangbian.github.io/sc_depth_pl/ - Commits · RidgeRun/sc_depth_pl