美图影像研究院（MT Lab）与中国科学院信息工程研究所、北京航空航天大学、中山大学共同提出了 3D 场景编辑方法 ——CustomNeRF，同时支持文本描述和参考图像作为 3D 场景的编辑提示，该研究成果已被 CVPR 2024 接收。自 2020 年神经辐射场 (Neural Radiance Field, NeRF) 提出以来，将隐式表达推上了一个新的高度。
这两篇都被收录于CVPR 2024,其中GenN2N更是获得了高分!值得一提的是本届 CVPR 录用论文中关于 NeRF 的论文数目也十分可观。 可见NeRF确实是一项创新且极具潜力的技术,它通过深度学习和体素渲染方法,实现了高度逼真的三维重建与视图合成,目前在自动驾驶、医学图像等领域都有非常广泛的应用。 为帮助大家快速了解并掌握...
然而之前的 NeRF 类方法大都使用很常规的 MLP 网络平等地对待沿着射线上的采样点。如果直接采用 MLP 来拟合公式(3)的话,那 X 光成像的重要性质便被忽略了,难以取得很好的效果。基于此,我们提出了一种新型的分段式 Transformer (Line Segment-based Transformer,简称 Lineformer)来拟合 X 光在穿透不同结构时的衰减...
在 GenN2N 的核心部分，1）引入了 3D VAE-GAN 的生成式框架，使用 VAE 表征整个编辑空间，来学习与一组输入的 2D 编辑图像对应的所有可能的 3D NeRF 编辑分布，并用 GAN 为编辑 NeRF 的不同视图提供合理的监督，确保编辑结果的真实性，2）使用对比学习解耦编辑内容和视角，确保不同视角间的编辑内容一致性，3...
通过总结现有方法的优势缺陷、拓宽已有技术的应用思路,该方法不仅可以在各类场景中准确区分静瞬态元素、提高 NeRF 的渲染质量,还入围了 CVPR 2024 最佳论文候选。 论文标题: NeRF-HuGS: Improved Neural Radiance Fields in Non-static Scenes Using Heuristics-Guided Segmentation ...
F2-NeRF模型:它是一个基于网格的NeRF模型,可以用任意的相机轨迹来合成新的视角,而且训练时间只需要几分钟。它利用了一种高效的采样策略和一种梯度缩放的技巧,提高了渲染质量和速度。 透视变形方法:它是一种新的空间变形方法,可以处理无界的场景。它根据相机的位置和方向,将网格沿着视线方向进行拉伸或压缩,使得网格能...
本文介绍我们在 CVPR 2024 上的新工作《Structure-Aware Sparse-View X-ray 3D Reconstruction》。 本文提出了一种用于稀疏视角下 X 光三维重建(如下边的 GIF 所示)的 NeRF 方法。具体而言,主要做两个任务。一是 X 光的新视角合成 (Novel View Synthesis, NVS...
美图影像研究院(MT Lab)与中国科学院信息工程研究所、北京航空航天大学、中山大学共同提出了3D场景编辑方法——CustomNeRF,同时支持文本描述和参考图像作为3D场景的编辑提示,该研究成果已被CVPR 2024接收。 1、背景 自2020年神经辐射场(Neural Radiance Field, NeRF)提出以来,将隐式表达推上了一个新的高度。作为当前...
美图影像研究院(MT Lab)与中国科学院信息工程研究所、北京航空航天大学、中山大学共同提出了3D场景编辑方法——CustomNeRF,同时支持文本描述和参考图像作为3D场景的编辑提示,该研究成果已被CVPR 2024接收。 背景 自2020年神经辐射场(Neural...
CVPR2023 | RobustNeRF: 从单张图像生成3D形状 来源:CVPR2023项目链接:https://robustnerf.github.io/作者:Sara Sabour, Suhani Vora, Daniel Duckworth, Ivan Krasin, David J. Fleet, Andrea Tagliasacchi内容整理:陈梓煜 简介:神经辐射场(NeRF)学习时数据包含不在图像拍摄期间持续存在的干扰物(如移动物体、光照...