mip-nerf构造锥体,对锥体进行编码,mip-NeRF能够在作者自己的多尺度数据集上将错误率降低60%,在NeRF的单尺度数据集上降低17%,同时也比NeRF快7%。 Introduction: 对原始的nerf,每个采样的视角和物体的距离是差不多的,这就导致一个问题,如果把训练的视角或者合成新视角的距离远近不一,那么最终的性能会下降。体现在文...
文章中认为,NeRF锯齿的原因是图像中某点坐标值只考虑了光线追踪线上的采样点累积结果,而Mip-NeRF会考虑区域的影响。但是他无法将区域中所有点坐标进行编码(本人认为是计算量过大),而是采用区域中均值与方差进行编码来代表采样点编码。 论文中,关于求期望和方差涉及的体积积分运算中,将 dxdydz 映射至 drdθdt 时,...
这个工作的representation方式是把mip-nerf中的cone casting与tri-plane结合起来,它不像mip-nerf的方式用多元高斯来近似圆锥,而是取若干个sample点,构造其与圆锥的内切球,把内切球向三个平面(XY plane, XZ plane, YZ plane)分别作正交投影,得到三个平面的圆形投影,然后基于Tri-Mip Encoding构造特征向量,拼接后送到...
F2-NeRF (Fast-Free NeRF) 是一种新的基于网格的神经渲染方法，用于新视图合成。它支持任意输入摄像机...
具体的采样方法是在截断的视锥表面进行采样(如下图所示),为什么是这样的采样方法以及如何计算后续的PE就要看论文细节才能进一步了解了。 此外,第二个contribution,Z-aliasing & Proposal Supervision则是为了解决Mip-nerf 360中提出的Proposal MLP中的深度不连续问题。具体细节待进一步了解论文。
和nerf++不同的是,nerf++是直接反演变换,无穷远点会被变换到球心的位置,但是这个映射关系仍可以保持单调性,让无穷远点映射在橙色的边缘点。很像一个kalman滤波。 本来这就可以了,但是由于结合了mip-nerf,不仅仅需要对点进行压缩,还需要对高斯分布进行压缩,也就是对miu和sigma进行压缩。
Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields[1] GitHub - google/mipnerfgithub.com/google/mipnerf 继NeRF[2]之后,一篇对NeRF改进比较本质的文章。 NeRF用连续的volumetric function代替了传统的离散的集合抽样。其中连续的volumetric function是用MLP表示的,它把5D坐标(3D坐标...