内容:论文提出了一种新的稀疏视图NeRF(SparseNeRF)框架,利用来自真实世界不准确观测的深度先验。粗糙的深度观测要么来自预训练的深度模型,要么来自消费级深度传感器的粗糙深度图。由于粗糙深度图不严格按比例缩放到真值深度图,作者为NeRF提出了一种简单有效的约束——局部深度排序方法,使NeRF的期望深度排序与局部补丁中的...
内容:论文提出了一种新的稀疏视图NeRF(SparseNeRF)框架,利用来自真实世界不准确观测的深度先验。粗糙的深度观测要么来自预训练的深度模型,要么来自消费级深度传感器的粗糙深度图。由于粗糙深度图不严格按比例缩放到真值深度图,作者为NeRF提出了一种简单有效的约束——局部深度排序方法,使NeRF的期望深度排序与局部补丁中的...
鉴于NeRF的普及和研究兴趣,作者认为有必要对过去两年的NeRF论文进行全面综述。作者从架构和应用两个维度对论文进行分类,还介绍了NeRF合成新视图的理论,以及比较了关键NeRF模型的性能和速度。 推理&训练&压缩 Hardware Acceleration of Neural Graphics(推理) 神经图形学的硬件加速 简述:论文研究了四个代表性的神经图形学...
NeRF提出将一个静态场景表示为5D输入,即:空间中某个位置的3D坐标以及观察方向,通过MLP神经网络得到该位置的颜色以及体密度,使用体绘制技术可以得到输入相机位姿条件下的视角图片,然后和 ground truth 做损失即可完成可微优化,从而渲染出连续的真实场景。 视角合成方法通常使用一个中间3D场景表征作为中介来生成高质量的虚拟...
传统的深度学习算法,例如NN的分类算法,我们需要收集大量的各种场景下的多类别图像训练一个模型,然后测试该模型在其他场景下的其他图像的分类性能。而NeRF不一样,nerf是用一个NN模型只overfit一个场景/物体,如果换了场景或者物体,那么你需要重新再训一个NN模型。
近两年来,NeRF在计算机视觉领域引起了极大的关注,在计算机视觉顶会(CVPR/ICCV/ECCV)中相关成果越来越多,例如在2021年,CVPR上关于NeRF的论文不到10篇,2022年已经超过了50多篇,其他会议亦是如此。目前,NeRF在照片编辑、3D表面提取、大型/城市规模3D表示和视图合成中找到了应用。
来自香港科技大学，清华大学的研究者提出了「GenN2N」，一个统一的生成式 NeRF-to-NeRF 转换框架，适用于各种 NeRF 转换任务，例如文字驱动的 NeRF 编辑、着色、超分辨率、修复等，性能均表现极其出色！论文地址：https://arxiv.org/abs/2404.02788论文主页：https://xiangyueliu.github.io/GenN2N/Github 地址：...
NeRF开篇-论文翻译 NeRF: Representing Scenes asNeural Radiance Fields for View Synthesis 摘要:我们提出了一种方法,通过使用稀疏的输入视图优化基于连续的体积场函数的方法,来实现合成复杂场景的新视图的最新结果。我们的算法使用一个全连接(非卷积)深度网络来表示场景,其输入是一个连续的5D坐标(空间位置(x,y,z)...
Blended-NeRF是一个强大而灵活的框架,用于编辑NeRF场景中的特定兴趣区域。该框架利用预训练的语言-图像模型和现有NeRF场景上初始化的3D MLP模型,根据文本提示或图像块合成并混合对象到原始场景中的指定区域。使用3D ROI框实现局部编辑,并通过体积混合技术将合成内容与现有场景融合。为了获得逼真且一致的结果,该框架使用几...
1.中国海洋大学、德国萨尔大学、广州软件学院和西安电子科技大学团队发现NeRF模型在后门攻击中存在安全漏洞。 2.该攻击方法包括在NeRF中嵌入一个隐藏的后门视图,当提供指定的后门视图时,允许它产生预定的输出,同时保持标准输入的正常性能。 3.实验结果证明了攻击的有效性,可以在不影响其他视图的情况下,成功地在指定视点...