Nerf 常见的问题是:如果输入的训练图像不足(nerf往往要100多张各个角度训练图像) 会导致一些错误的 几何错误 潜在的原因是 缺乏对 空的空间/不透明的表面(empty space and opaque surfaces)有约束。 所以作者提出了一个损失, 利用 Depth 来 supervise Nerf。 现有的Nerf pipeline 都会先用SfM来估计 相机参数。其实...
NeRF (Depth-supervised Neural Radiance Fields), a loss for learning radiance fields that takes advantage of readily-available depth supervision. We leverage the fact that current NeRF pipelines require images with known camera poses that are typically estimated by running structure-from-motion (SFM)....
Depth-supervised NeRF: Fewer Views and Faster Training for Free CVPR, 2022 Kangle Deng1,Andrew Liu2,Jun-Yan Zhu1,Deva Ramanan1,3, 1CMU,2Google,3Argo AI We propose DS-NeRF (Depth-supervised Neural Radiance Fields), a model for learning neural radiance fields that takes advantage of depth ...
Target: 引入深度约束达到两个效果,1)使用少量图片即能收敛到Origianl NERF 100+张图片的效果 2)训练速度得到提高 这篇文章的切入点是用fewer views作为NERF的input来完成场景的生成且能够有不错的效果,它的实验结果证明引入depth-supervised的方法能够在仅用几张图片作为输入的情况下,就能够达到和Original NERF(arxiv...
Latent Code指的是NERF-W中用到的预处理方法,将每一张图片都编码成latent code,这使得网络可以补偿视图相关的现象,如光照不一致或镜头阴影,这些现象可能会在新视图中导致严重的伪影,尤其是在输入图像很少的情况下。 Summary 把depth invovle进来NERF的过程是一个简洁直观的idea,这篇文章相比DS-NERF而言,更充分地用...