通过训练depth(额外信息), DS-Nerf训练图像质量要比一般Nerf 差一点,因为也要拟合depth。但是测试上,明显加入depth监督的图像质量更好 。同时,测试depth的准确度,当然也是训练过的DS-Nerf 更好 。 特别是 右图,可以看到更smooth 和连续的 depth 。 2. Loss上 一个常规的color loss 通过累积光线得到。 3. 理...
Latent Code指的是NERF-W中用到的预处理方法,将每一张图片都编码成latent code,这使得网络可以补偿视图相关的现象,如光照不一致或镜头阴影,这些现象可能会在新视图中导致严重的伪影,尤其是在输入图像很少的情况下。 Summary 把depth invovle进来NERF的过程是一个简洁直观的idea,这篇文章相比DS-NERF而言,更充分地用...
DS-NeRF (Depth-supervised Neural Radiance Fields), a loss for learning radiance fields that takes advantage of readily-available depth supervision. We leverage the fact that current NeRF pipelines require images with known camera poses that are typically estimated by running structure-from-motion (...
Depth-supervised NeRF: Fewer Views and Faster Training for Free CVPR, 2022 Kangle Deng1,Andrew Liu2,Jun-Yan Zhu1,Deva Ramanan1,3, 1CMU,2Google,3Argo AI We propose DS-NeRF (Depth-supervised Neural Radiance Fields), a model for learning neural radiance fields that takes advantage of depth ...
在NERF real-world(LLFF)数据集上用的ground-truth depth应该是colmap恢复出来的depth,用all-view做平均,而Redwood数据集则是有直接获得的Depth数据。从表上可以看到,DS-NERF恢复出来的深度的误差范围还会是在10%左右,而 w/RGBD的情况下,深度的误差范围可以降低到5%,在没有RGBD监督的情况下,10%的误差还是相对来...