为了解决这个问题,我们提出了NerfingMVS。我们方法的核心是用网络预测出来的深度先验去引导神经辐射场的优化过程。我们首先用COLMAP得到的深度训练一个专属于当前场景的单目深度网络。之后用这个单目深度网络预测的深度图来指导NeRF的学习。最后我们根据视角合成的结果利用滤波器去进一步提升深度图的质量。在ScanNet上的实验结...
但可惜的是,原生NeRF在室内场景中存在形状辐射歧义(shape-radiance ambiguity)的问题。这个问题的大致意思是NeRF可以合成出高质量的新视角的RGB图片,但它却没有学会场景的三维结构。 为了解决这个问题,我们提出了NerfingMVS。我们方法的核心是用网络预测出来的深度先验去引导神经辐射场的优化过程。我们首先用SfM得到的稀疏...
但可惜的是,原生NeRF在室内场景中存在形状辐射歧义(shape-radiance ambiguity)的问题。这个问题的大致意思是NeRF可以合成出高质量的新视角的RGB图片,但它却没有学会场景的三维结构。 为了解决这个问题,我们提出了NerfingMVS。我们方法的核心是用网络预测出来的深度先验去引导神经辐射场的优化过程。我们首先用SfM得到的稀疏...
代码位于https://github.com/weiyithu/NerfingMVS
Run NerfingMVS sh run.sh $scene_name The whole procedure takes about 3.5 hours on one NVIDIA GeForce RTX 2080 GPU, including COLMAP, depth priors training, NeRF training, filtering and evaluation. COLMAP can be accelerated with multiple GPUs.You will get per-view depth maps in./logs/$scene...
amonocular depth network over the target scene by f i netun-ing on its sparse SfM+MVS reconstruction from COLMAP.Then, we show that the shape-radiance ambiguity of NeRFstill exists in indoor environments and propose to addressthe issue by employing the adapted depth priors to mon-itor the ...
After the process of depth prior training was done, a bug "/bin/sh: 1: mogrify: not found" occurred in "mogrify -resize 50.0% -format png *.jpg". How can I deal with it? Thank you! Owner weiyithu commented Oct 1, 2021 I think it may be caused by the lack of imagemagick and...
Code:https://github.com/weiyithu/NerfingMVS 概述 熟悉3D视觉领域的朋友们都知道,近一年来NeRF大火。NeRF概括来说是一个用MLP学习得到的神经辐射场。它的训练数据是多视角的RGB图片。学得的神经辐射场可以表示场景的三维结构,从而实现新视角的视图合成。对NeRF更加具体的介绍,请大家参考林天威:https://zhuanlan.zhi...