对比其它基线方法ZoeDepth和OmniData(v2),Metric3D v2能给出更高细粒度的带尺度深度和法向。 2、单目场景三维重建即使像Marigold、DepthAnything v2这样的高精度相对深度模型,也需要在特定数据上拟合、或手动挑选出一组合适的仿射参数后,才能得到三维点云。 3、单帧直接测距Metric3Dv2模型具有更高精度的测距功能: 总...
Metric3D v2 A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation 论文:https://arxiv.org/abs/2404.15506 代码:https://github.com/YvanYin/Metric3D 主页:https://jugghm.github.io/Metric3Dv2/ 解读:https://mp.weixin.qq.com/s/oZNP-jkz2b6lNLcN...
对比其它基线方法ZoeDepth和OmniData(v2),Metric3D v2能给出更高细粒度的带尺度深度和法向。 2、单目场景三维重建 即使像Marigold、DepthAnything v2这样的高精度相对深度模型,也需要在特定数据上拟合、或手动挑选出一组合适的仿射参数后,才能得到三维点云。 3、单帧直接测距 Metric3Dv2模型具有更高精度的测距功能: ...
通过随机crop,增强Scale- and shift-invariant losses,这个loss增强了局部几何和单图的分布。 模型预训练用的是DINOV2,有两个模型,一个large, 一个是giant,自学习用的是imagenet22k数据,大概142M数据,也就是所有imagenet数据集用于预训练,而后用收集的深度数据对模型进行训练。用imagenet22k这个数据进行自监督预训练...
Official PyTorch implementation of Metric3Dv1 and Metric3Dv2: [1]Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image [2]Metric3Dv2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation ...
Metric3D v2在16个单目深度和法向估计基准榜单上拿下SOTA,涵盖绝对深度、相对深度和法向估计的域内和域外测试。 不做尺度对齐或微调,在KITTI上的单目深度估计相对误差可低至5%。 这项工作由来自香港科技大学、阿德莱德大学、西湖大学、英特尔、香港大学、浙江大学的研究人员共同打造,目前已被AI顶刊TPAMI接收。
Metric3D v2在16个单目深度和法向估计基准榜单上拿下SOTA,涵盖绝对深度、相对深度和法向估计的域内和域外测试。 不做尺度对齐或微调,在KITTI上的单目深度估计相对误差可低至5%。 这项工作由来自香港科技大学、阿德莱德大学、西湖大学、英特尔、香港大学、浙江大学的研究人员共同打造,目前已被AI顶刊TPAMI接收。
单目深度估计新成果来了!方法名为Metric3D v2,是CVPR单目深度估计挑战赛冠军方案Metric3D的加强版。用一套模型参数,在未知环境中,同时解决带尺度深度估计和法向估计两个问题。Metric3D系列模型也已经发布在始智AIwisemodel.cn开源社区,欢迎前往了解详情。
2.BiSeNetv2 2.1 总体结构 BiSeNetv2的大体结构如下图所示: 图3 网络主要包含3部分 Detail分支特点是网络层数较少,feature map尺寸大,用于提取空间细节信息。 Semantic分支特点是比较深,feature map尺寸小,感受野大,用于提取高级语义信息。 特征融合模块用于融合Detail分支和Semantic分支的特征。
The repo for "Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image" and "Metric3Dv2: A Versatile Monocular Geometric Foundation Model..." - YvanYin/Metric3D