Habitat-Matterport 3D (HM3D)是一个大型数据集,包含来自现实世界中各种位置的 1,000 个建筑物规模的 3D 重建。数据集中的每个场景都由内部的纹理 3D 网格重建组成,例如多层住宅、商店和其他私人室内空间。HM3D 在物理规模、重建完整性和视觉保真度方面超越了很多可用于学术研究的数据集。HM3D 包含 112.5k 平方米...
21年3月，一篇来自Facebook AI、UT Austin、Georgia Tech、Simon Fraser U和Cornell U的论文“Habitat-Matterport 3D Dataset (HM3D): 1000 Large-scale 3D Environments for Embodied AI”备受瞩目。该论文介绍了Habitat-Matterport 3D（HM3D）数据集，一个包含1,000个建筑物规模3D重建的大型数据集。这些重建来自现...
Habitat 支持在高效的逼真 3D 模拟中训练具身智体(虚拟机器人)。具体而言,Habitat包括: (i) Habitat-Sim:一个灵活、高性能的3D模拟器,具有可配置的智体、传感器和通用的3D数据集处理。Habitat-Sim 速度很快——从 Matterport3D 渲染场景时,可以单线程运行达到每秒数千帧 (fps),并且可以在单GPU多进程达到超过 10...
此前,AI Habitat已经支持Matterport 3D数据集,而近期推出的HM3D则是Facebook正式与Matterport合作,专门为Habitat 2.0仿真训练平台推出的大规模开源3D数据集。其中包含1000种不同的3D扫描场景,在3D扫描领域,这些数据具有相当大规模。 Matterport CEO RJ Pittman表示:Habitat-Matterport中包含接近每种类型的室内建筑,比如:住...
以 Matterport3D 数据集的场景渲染过程为例,Habitat-Sim 的单线程运行高达数千帧/秒(FPS),且只需单个 GPU 就能实现超过 10,000 FPS 的多线程运行! Github 网址:https://github.com/facebookresearch/habitat-sim Habitat-API Habitat-API 是一个能够实现「具身 AI」端到端开发任务的模块化高级库,这些开发任务...
Facebook 推出Habitat 2.0版,在AI Habitat基础上提升了速度、物理模拟和交互性,加速机器人在练习拾取、开关抽屉/门、补货、整理房间等动作上的培训过程。此外,Facebook还推出3D场景数据集ReplicaCAD,以及全新的机器人仿真培训标准HAB,并与3D解决方案公司 Matterport 合
根据研究人员的说法,Habitat已经与几个3D数据集兼容,包括MatterPort3D,Gibson和SUNCG。它经过优化,因此其他研究人员可以比现实世界快数百倍地运行模拟世界。 为了使环境更加真实,Facebook为Habitat创建了一个名为“Replica”的数据库。它是一组逼真房间的照片,使用实际住宅的摄影和深度贴图创建。从起居室到浴室的所有东西...
一个配备了可配置智能体、多款传感器、通用 3D 数据集处理器(内置支持 SUNCG、MatterPort3D、Gibson 及其他数据集)的灵活、高性能 3D 模拟器。以 Matterport3D 数据集的场景渲染过程为例,Habitat-Sim 的单线程运行高达数千帧/秒(FPS),且只需单个GPU就能实现超过 10,000 FPS 的多线程运行!
一个配备了可配置智能体、多款传感器、通用 3D 数据集处理器(内置支持 SUNCG、MatterPort3D、Gibson 及其他数据集)的灵活、高性能 3D 模拟器。以 Matterport3D 数据集的场景渲染过程为例,Habitat-Sim 的单线程运行高达数千帧/秒(FPS),且只需单个 GPU 就能实现超过 10,000 FPS 的多线程运行!
而AI Habitat的作用是训练AI识别虚拟环境,其特点是高度兼容和灵活性、模块化,它可运行Replica的3D重建数据库,也支持现有的其他3D资源,比如Gibson和Matterport 3D数据集,Facebook希望以此来加速AI的训练,简化大规模场景渲染的速度。那么模块化的设计到底是怎么加速AI训练的呢,接下来我们就来看看。