NeRF-Supervised Deep Stereo提出了一种新的学习框架,可以轻松地训练立体匹配网络,而不需要任何ground-truth数据,该论文还提出了一种NeRF-Supervised训练协议,该协议结合了渲染图像三元组和深度图,以解决遮挡问题并增强细节,实验结果表明,该模型在挑战性的立体数据集上取得了最先进的零样本泛化结果。 本文提出了一种利用...
Deep Stereo Matching. 深度立体声匹配。几十年来,立体声匹配一直使用手工制作的算法[56]来解决,根据它们的处理步骤和速度/精度权衡,通常分为局部和全局方法。近年来,深度学习已成为立体匹配领域的主导技术,取得了以前难以想象的结果[50]。该领域的早期努力将管道的各个步骤[56]视为可学习的组成部分[37,61,62,74...
CVPR2023 I NeRFSupervised Deep Stereo确实提出了一种不需要任何groundtruth数据的新深度立体网络训练框架。该框架的核心要点和优势如下：无需groundtruth数据：该框架通过神经渲染提供立体图像，并利用这些图像进行训练，无需传统的groundtruth深度数据。利用手持相机拍摄图像序列：用户可以简单地使用手持相机拍摄...
NeRF-Supervised Deep Stereo Fabio Tosi1 Alessio Tonioni2 Daniele De Gregorio3 Matteo Poggi1 1University of Bologna 2Google Inc. 3Eyecan.ai {fabio.tosi5, m.poggi}@unibo.it alessiot@google.com daniele.degregorio@eyecan.ai https://nerfstereo.github.io/ Ours StMeroenoo-f-rfoomr-S-Mteroenoo...
实验部分展示了使用移动设备捕获的高分辨率场景进行深度估计，通过收集场景和渲染三元组生成训练数据，使用准确性和快速收敛的RAFT-Stereo作为主要架构，并评估了不同数据集和模型，包括KITTI、Middlebury和ETH3D。作者比较了与MfS方法的性能，发现他们的方法在不需要大量训练数据的情况下表现更好，实现了更好的...
We introduce a novel framework for training deep stereo networks effortlessly and without any ground-truth. By leveraging state-of-the-art neural rendering solutions, we generate stereo training data from image sequences collected with a single handheld camera. On top of them, a NeRF-supervised tr...