内容:论文提出了一种新的稀疏视图NeRF(SparseNeRF)框架,利用来自真实世界不准确观测的深度先验。粗糙的深度观测要么来自预训练的深度模型,要么来自消费级深度传感器的粗糙深度图。由于粗糙深度图不严格按比例缩放到真值深度图,作者为NeRF提出了一种简单有效的约束——局部深度排序方法,使NeRF的期望深度排序与局部补丁中的...
NeRF提出将一个静态场景表示为5D输入,即:空间中某个位置的3D坐标以及观察方向,通过MLP神经网络得到该位置的颜色以及体密度,使用体绘制技术可以得到输入相机位姿条件下的视角图片,然后和 ground truth 做损失即可完成可微优化,从而渲染出连续的真实场景。 视角合成方法通常使用一个中间3D场景表征作为中介来生成高质量的虚拟...
然而,他们设计的损耗仅在二维光度空间中,这限制了三维 NeRF 模型的编辑能力。此外,他们的方法只支持简单对象中语义连续几何图形的编辑,而不支持任意像素级的复杂编辑。此外,据我们所知,现有方法还没有实现质量和速度兼顾的交互式编辑性能。Liu 等人[19]是现有方法中唯一能在一分钟内完成优化的方法(根据他们的论文,...
来自香港科技大学，清华大学的研究者提出了「GenN2N」，一个统一的生成式 NeRF-to-NeRF 转换框架，适用于各种 NeRF 转换任务，例如文字驱动的 NeRF 编辑、着色、超分辨率、修复等，性能均表现极其出色！论文地址：https://arxiv.org/abs/2404.02788论文主页：https://xiangyueliu.github.io/GenN2N/Github 地址：ht...
F2-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories 论文链接:https://totoro97.github.io/projects/f2-nerf/ 提出了一种新的基于网格的NeRF,称为F2-NeRF(Fast Free NeRF),用于新的视图合成,它可以实现任意输入的相机轨迹,并且只需要几分钟的训练时间。现有的基于快速网格的NeRF训练框架,...
NeRF开篇-论文翻译 NeRF: Representing Scenes asNeural Radiance Fields for View Synthesis 摘要:我们提出了一种方法,通过使用稀疏的输入视图优化基于连续的体积场函数的方法,来实现合成复杂场景的新视图的最新结果。我们的算法使用一个全连接(非卷积)深度网络来表示场景,其输入是一个连续的5D坐标(空间位置(x,y,z)...
Blended-NeRF是一个强大而灵活的框架,用于编辑NeRF场景中的特定兴趣区域。该框架利用预训练的语言-图像模型和现有NeRF场景上初始化的3D MLP模型,根据文本提示或图像块合成并混合对象到原始场景中的指定区域。使用3D ROI框实现局部编辑,并通过体积混合技术将合成内容与现有场景融合。为了获得逼真且一致的结果,该框架使用几...
NeRF开篇-论文翻译 Neural Radiance Fields for View Synthesis 摘要:我们提出了一种方法,通过使用稀疏的输入视图优化基于连续的体积场函数的方法,来实现合成复杂场景的新视图的最新结果。我们的算法使用一个全连接(非卷积)深度网络来表示场景,其输入是一个连续的5D坐标(空间位置(x,y,z)和视角方向(θ,φ)),其输出...
近两年来,NeRF在计算机视觉领域引起了极大的关注,在计算机视觉顶会(CVPR/ICCV/ECCV)中相关成果越来越多,例如在2021年,CVPR上关于NeRF的论文不到10篇,2022年已经超过了50多篇,其他会议亦是如此。目前,NeRF在照片编辑、3D表面提取、大型/城市规模3D表示和视图合成中找到了应用。
近日，新一届 ACM 博士论文奖正式公布。哈佛大学博士后研究员 Manish Raghavan 因其在「理解算法决策及其社会影响」方面的贡献获得了 2021 年度 ACM 博士论文奖。同时，最新一届的荣誉提名奖授予了斯坦福大学的 Dimitris Tsipras，以及谷歌研究院的 Pratul Srinivasan、Benjamin Mildenhall 二人，他们是神经辐射场 (NeRF)...