本文总结了NeRF领域的综述和算法论文,包含:综述论文、基础模型、Cam-NeRF、Stereo-NeRF、Lidar-NeRF、Radar-NeRF、Det/检测、SLAM/定位建图、BEV、Occupancy/占用、LLM、Agent、数据合成和扩充、仿真、数据标注、城区NeRF、数据提升、GAN-NeRF、Diffusion/扩散模型、LGO、Senmatic、BA、SDF、Editing、AD/自动驾驶、特殊天...
内容:论文提出了一种新的稀疏视图NeRF(SparseNeRF)框架,利用来自真实世界不准确观测的深度先验。粗糙的深度观测要么来自预训练的深度模型,要么来自消费级深度传感器的粗糙深度图。由于粗糙深度图不严格按比例缩放到真值深度图,作者为NeRF提出了一种简单有效的约束——局部深度排序方法,使NeRF的期望深度排序与局部补丁中的...
NeRF 的训练方法是尽量减少像素预测颜色与地面真实颜色之间的光度损失。 在本文中,我们在 Instant-NGP的基础上构建了交互式 NeRF 编辑系统,该系统实现了近乎实时的 NeRF 渲染性能。虽然我们的即时交互式编辑实现依赖于 NeRF 的混合表示法,以达到最佳的速度性能,但我们提出的编辑框架并不依赖于特定的 NeRF 骨干,只要遵...
NeRF提出将一个静态场景表示为5D输入,即:空间中某个位置的3D坐标以及观察方向,通过MLP神经网络得到该位置的颜色以及体密度,使用体绘制技术可以得到输入相机位姿条件下的视角图片,然后和 ground truth 做损失即可完成可微优化,从而渲染出连续的真实场景。 视角合成方法通常使用一个中间3D场景表征作为中介来生成高质量的虚拟...
Blended-NeRF是一个强大而灵活的框架,用于编辑NeRF场景中的特定兴趣区域。该框架利用预训练的语言-图像模型和现有NeRF场景上初始化的3D MLP模型,根据文本提示或图像块合成并混合对象到原始场景中的指定区域。使用3D ROI框实现局部编辑,并通过体积混合技术将合成内容与现有场景融合。为了获得逼真且一致的结果,该框架使用几...
0. 笔者个人体会 NeRF真是越来越火，而神经语义场更是NeRF中新兴的一个领域，作用是直接生成3D场景的...
CVPR自动驾驶论文阅读 论文动机:(拼课 wwit1024) 相较于现有的自动驾驶车载感知系统(雷达、声纳、激光雷达等),视觉系统具有成本低,功耗小的优点,因此如果可以只使用摄像机采集的图片信息就可以完成各种自动驾驶任务的话,对自动驾驶汽车落地和降低生产成本具有很大帮助。
F2-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories 论文链接:https://totoro97.github.io/projects/f2-nerf/ 提出了一种新的基于网格的NeRF,称为F2-NeRF(Fast Free NeRF),用于新的视图合成,它可以实现任意输入的相机轨迹,并且只需要几分钟的训练时间。现有的基于快速网格的NeRF训练框架,...
（5）面向多任务联合：基于NeRF的XXX，例如语义分割、实例分割、全景分割、目标检测、分类、三维重建等等...
一个说的不错的位置编码的设计原因:[NeRF坑浮沉记]思考Positional Encoding - 知乎 总结一下,就是采样点位置就是三维,其秩最高就是三,经过线性变换左乘W之后r(Wx)<=3,并且激活函数引入的非线性不会让其表达能力进行大幅度提高。故需设计一个映射将输入的秩尽可能的拉高,从而让输入矩阵的表达能力更大的提高,映...