Depth Anything V2模型通过采用合成图像训练、增加教师模型容量,并利用大规模伪标签现实数据进行学生模型教学,显著提高了预测精度和效率,该工作为进一步研究提供了重要的理论基础和实践指导,特别是在如何结合合成数据和大量未标记现实数据来提升深度估计模型的性...
研究者进一步研究了 Depth Anything 模型，将其作为下游度量深度估计的一种有潜力的权重初始化方法。两种有代表性的情况如下：1) 域内度量深度估计，即在同一域内对模型进行训练和评估。如 NYUv2 表 3 所示，Depth Anything 模型明显优于之前的最佳方法 VPD，δ_1 (↑) 从 0.964 → 0.984，AbsRel (↓) 从...
在图2中,我们分别比较了两类中的两个代表性工作:Depth Anything作为判别模型,Marigold作为生成模型。可以很容易地观察到,Marigold在建模细节方面更优秀,而Depth Anything对于复杂场景则产生更鲁棒的预测。此外,如表1所示,Depth Anything比Marigold更高效且轻量级,同时提供不同尺度的选择。然而,Depth Anything对透明物体和反...
24年1月论文“Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data“,来自香港大学、字节、浙江实验室和浙江大学。 这项工作提出了Depth Anything,这是一种用于鲁棒单目深度估计的解决方案。目标是建立一个简单而强大的基础模型,在任何情况下处理任何图像。为此,设计一个数据引擎来收集和自动注释大规模...
本研究引入了Depth Anything模型,该模型在稳健的单目深度估计方面展现了高度实用性。通过强调廉价且多样化的未标记图像的价值,并采用两种有效策略,即在学习未标记图像时设定更具挑战性的优化目标以及保留预训练模型的丰富语义先验,使得该模型在零样本深度估计方面表现出色。此外,该模型还可作为有望初始化下游度量深度估计和...
本文提出一种用于单目深度估计(Monocular Depth Estimation, MDE)的高度实用方案Depth Anything「致敬Segment Anything」,它旨在构建一种可以处理任务环境下任意图像的简单且强力的基础深度模型。为此,作者从三个维度进行了探索: 数据集维度,设计了一种数据引擎用于数据收集与自动标注,构建了~62M的大规模无标注数据,这极大...
近日,一种可有效利用大规模无标注图像的新 MDE 模型 Depth Anything 凭借强大的性能在社交网络上引起了广泛讨论,试用者无不称奇。 甚至有试用者发现它还能正确处理埃舍尔(M.C.Escher)那充满错觉的绘画艺术(启发了《纪念碑谷》等游戏和艺术): 从水上到水下,丝滑切换: ...
重新审视Depth Anything V1的标记数据设计 在MiDaS在无监督单目深度估计方面的开创性工作基础上,近期研究倾向于构建更大规模的训练数据集,以努力提升估计性能。值得注意的是,Depth Anything V1、Metric3D V1和V2,以及ZeroDepth,分别从不同来源收集了150万、800万、1600万和1500万张标记图像用于训练。然而,很少有研究...
人类有两只眼睛来估计视觉环境的深度信息,但机器人和 VR 头社等设备却往往没有这样的「配置」,往往只能靠单个摄像头或单张图像来估计深度。这个任务也被称为单目深度估计(MDE)。 近日,一种可有效利用大规模无标注图像的新 MDE 模型 Depth Anything 凭借强大的性能在社交网络上引起了广泛讨论,试用者无不称奇。
2024-12-22:Prompt Depth Anythinghas been released. It supports 4K resolution metric depth estimation when low-res LiDAR is used to prompt the DA models. 2024-07-06:Depth Anything V2 is supported inTransformers. See theinstructionsfor convenient usage. ...