具体来说,SC-DepthV3首先引入了一个在大规模数据集上有监督预训练的单目深度估计模型LeReS,并通过零样本泛化提供单图像深度先验,也就是伪深度,同时引入了一个新损失来约束网络的训练。注意,LeReS只需要训练一次,在新场景中不需要进行finetune,因此这一网络的引入并不会加入额外的成本。 LeReS显示了很好的定性结果,...
具体来说,SC-DepthV3首先引入了一个在大规模数据集上有监督预训练的单目深度估计模型LeReS,并通过零样本泛化提供单图像深度先验,也就是伪深度,同时引入了一个新损失来约束网络的训练。注意,LeReS只需要训练一次,在新场景中不需要进行finetune,因此这一网络的引入并不会加入额外的成本。LeReS显示了很好的定性结果,...
这一数据集在本文中的作用是,它被用于验证 ARN 对于旋转少的数据集上的训练相比于 baseline 没有负面影响。 ScanNet:这是一个通过 RGB-D 手持设备拍摄的室内场景数据集,分辨率为1296*968,包含了2135张图片。这一数据集在本文用于验证模型的泛化性(通过 zero-shot )。 7-Scenes:这是一个通过 Kinect 相机拍摄的...
我们发现在自动驾驶场景（KITTI数据集）上相机旋转（角度及所造成的图像间像素移动）远小于室内VR/AR场景（NYU数据集）。尤其在后者上，相机平移造成的像素运动非常小，这将导致在训练过程中很难有效的约束深度估计网络。另外，较大的相机旋转很难被网络学会，不够精确的旋转估计会反传回错误的梯度影响深度估计网络。...
我们的贡献包括:(i)我们提出了几何一致性损失,这将惩罚相邻视图之间的预测深度不一致;(ii)我们提出了一个自我发现的掩码来自动定位那些在训练过程中违反静态场景假设并引起噪声信号的运动目标;(iii)我们通过详细的消融研究证明了每个成分的有效性,并在KITTI和NYUv2数据集中显示了高质量的深度估计结果。此外,由于具有...
imgs 优化代码结构,添加MidAir数据集支持 Dec 31, 2024 scripts/download 加入第一个模型,SC-Depth-V1 Dec 12, 2024 system 修复验证阶段提示,添加MidAir配置及总配置文件 Jan 2, 2025 tools 修复验证阶段提示,添加MidAir配置及总配置文件 Jan 2, 2025 ...
至于定量结果,由于作者主要思路就是针对室内场景中的旋转运动,因此主要评估的数据集是室内NYU。 结果显示,SC-depthV2相较于之前的方法实现了大幅提升,这也验证了作者的想法。 一句话总结:SC-DepthV2解决了旋转位姿对深度估计的影响问题。 4. SC-DepthV3做了什么?
我们发现在自动驾驶场景(KITTI数据集)上相机旋转(角度及所造成的图像间像素移动)远小于室内VR/AR场景(NYU数据集)。尤其在后者上,相机平移造成的像素运动非常小,这将导致在训练过程中很难有效的约束深度估计网络。另外,较大的相机旋转很难被网络学会,不够精确的旋转估计会反传回错误的梯度影响深度估计网络。
我们发现在自动驾驶场景(KITTI数据集)上相机旋转(角度及所造成的图像间像素移动)远小于室内VR/AR场景(NYU数据集)。尤其在后者上,相机平移造成的像素运动非常小,这将导致在训练过程中很难有效的约束深度估计网络。另外,较大的相机旋转很难被网络学会,不够精确的旋转估计会反传回错误的梯度影响深度估计网络。
我们在两个体内数据集 EndoNeRF 和 Hamlyn 数据集上进行的实验证明了我们框架的有效性。 在所有情况下,Forplane 都显着加速了优化过程(超过 100 倍)和推理过程(超过 15 倍),同时保持甚至提高了各种非刚性变形的质量。 这一显着的性能改进有望成为未来术中手术应用的宝贵资产。