在过去的一年中，我们已经看到了谷歌的SayCan、UC 伯克利的LM Nav等多项工作。前者能够让机器人在大型语言模型的帮助下，完成一个包含 16 个步骤的长任务；后者则用三个大模型（视觉导航模型 ViNG、大型语言模型 GPT-3、视觉语言模型 CLIP）教会了机器人在不看地图的情况下按照语言指令到达目的地。单独使用大型语...
利用大型语言模型控制人形机器人Digit,大模型会大大降低智能设备的使用和交互门槛。Digit 首席技术官 Pras Velagapudi 深入解析了如何通过自然语言语音命令和大型语言模型(LLM),使 Digit 人形机器人能够理解并执行复杂的任务,展示了 Digit 在非结构化环境中操作物体、移动导航及确保安全的能力,大大降低了为新任务编程的...
目前大模型发展还处于初期阶段,如果仅仅用在软件层面,体验中的缺陷和不足尚能被接受,但应用于机器人场景,尤其是对良率、精准率等要求严苛的工业场景就很容易造成较大损失。 “大模型的思考上限就是机器人思考上限。”贾佳亚认为,现阶段不如按传统的方式去做机器人,大模型可以用来对话、交互,但用大模型控制机器人是...
最近的一项研究 ,即Robotics Transformer 2(RT-2),提出了一种将VLMs适应低层机器人控制的可能解决方案。然而,将这样一个昂贵的框架普及给所有机器人从业者依然困难,因为它使用私有模型,并需要在大量的视觉-语言数据上进行协同微调以充分展示其效果。因此,机器人社区迫切需要一个低成本替代方案,能够有效地利用VLMs实...
控制器作为小脑这一运动控制器,专注于将高层级的行为(如期望目标点)转换成低层级的系统命令(如旋翼转速)。 具体来说,研究团队认为这一成果主要有三项贡献。 应用于实际的新型系统架构 研究团队提出了一种应用于实际机器人的新的系统架构,将基于多模态大模型的智能体具象化为大脑。
可以直接运行在用于实时机器人控制的GPU上; 这是到目前为止最大的模型,用于端到端的机器人控制; 模型部署在muti-TPU的云服务上,通过网络调用这个服务; 最大的模型,RT2-PaLI-X-55B,运行频率1-3Hz; 小点的模型,5B参数,可以运行5Hz; Experiment RT-2泛化到新任务中性能; ...
大模型最直接的是语言模型,因为它们拥有很好的常识和推理逻辑能力,可以对机器人的规划和控制产生上层的影响。最开始可能是从Google在2022年推出的PaLM-SayCan 技术开始,这种大模型与机器人执行的结合。到了2023年,通过视觉语言模型如 PaLM-E,实现了感知与规划的结合。到了2023年底,Google又推出了像RT-1、RT-2 这样...
依据机器人所需要具备的能力，DeepMind开发多项重要系统，首先是结合大型基础模型的AutoRT。AutoRT将大型语言模型和视觉语言模型等大型基础模型，与机器人控制模型RT-1或RT-2结合，创建一个可以在新环境中部署机器人，并收集训练数据的系统。也就是说，AutoRT借由运用大型基础模型所提供的语言和视觉处理能力，结合机器人...
在这篇论文中，我们提出了一种名为LLaRA（大型语言和机器人助手）的框架，该框架将机器人动作策略表述为对话，并通过辅助数据的训练来增强其学习，这些数据能够补充策略学习。具有视觉输入的LLMs，即视觉语言模型（VLMs），有能力处理作为视觉文本提示的状态信息，并根据文本生成最优的策略决策。为了训练这样的动作策略...
每经AI快讯，11月2日，工信部印发《人形机器人创新发展指导意见》，开发基于人工智能大模型的人形机器人“大脑”，增强环境感知、行为控制、人机交互能力，推动云端和边缘端智能协同部署。建设大模型训练数据库，创新数据自动化标注、清洗、使用等方法，扩充高质量的多模态数据。科学布局人形机器人算力，加速大模型训练迭代...