“如今正是涉足机器人领域的绝佳时机，”然而，雷伯特也强调，相对于人类所做的任务，AI大语言模型（LLM）与人形机器人能做的任务之间，仍然会有非常大的差距。“因此，我真的很期待，缩小基于语言的认知智能，和我们动态智能之间的差距。”据悉，今年75岁的雷伯特，是Boston Dynamics（波士顿动力机器人）创始人。在...
近年来,大语言模型(LLM) 的集成彻底改变了机器人领域,使机器人能够像人类一样熟练地进行交流、理解和推理。本文探讨了 LLM 对机器人技术的多方面影响,解决了在各个领域利用这些模型的关键挑战和机遇。对核心机器人元素(通信、感知、规划和控制)中的 LLM 应用进行分类和分析,重点是 GPT-3.5 之后开发的 LLM,主要是...
为了利用LLMs提升类人机器人的运动操作能力,本文提出了一种基于语言模型的新框架,该框架使机器人能够根据文本指令自主规划行为和执行低级任务,同时在任务执行过程中观察并纠正可能出现的失败。为了系统评估本框架对LLMs的grounding效果,作者创建了机器人的“动作”和“感知”行为库,用于任务规划,并在仿真和真实环境中使用...
例如，在一个复杂的物流中心，机器人需要根据实时变化的订单和库存信息进行动态调整。通过将任务规划问题转化为正式的规划语言，机器人可以更精确地计算出最优路径和任务顺序，从而提高物流效率。▍总结与展望 本文的研究通过场景图和LLMs的结合，将人类与环境的动态关系编码到任务规划中，同时将单机器人任务规划问题转化...
我认为现阶段机器人行业一个最大的限制还是AI不太够：AI模型、训练数据集、场景落地部署这些都远远不够。硬件目前也不够，但它是工程问题，可以预估时间。减速器寿命、负载能力、灵巧操作精度、视觉感知分辨率、执行速度等这些硬件方面当然要继续完善，但不是最大限制。要发展真正的机器人模型只是大语言模型还不够 贝...
对此，ByteDance Research 基于开源的多模态语言视觉大模型 OpenFlamingo 开发了开源、易用的 RoboFlamingo 机器人操作模型，只用单机就可以训练。使用简单、少量的微调就可以把 VLM 变成 Robotics VLM，从而适用于语言交互的机器人操作任务。OpenFlamingo 在机器人操作数据集 CALVIN 上进行了验证，实验结果表明，Robo...
大语言模型与知识网络的相互补充 孙宇教授从事机器人领域的研究已二十余年。在USF，孙宇教授带领的机器人概念和行为实验室（RPAL）多年来围绕机器臂抓取和操作、人机交互、医学影像及虚拟现实、机器触觉及力学传感控制等诸多方向进行了大量研究。后来在机器人任务规划研究中得到大量应用的FOON这一成果，就是出自RPAL。孙...
▍多模态世界模型构建，机器人更懂行 作为通用智能体，RFM-1需建立起对物理世界的整体认知。Covariant为此专门收集了包含视觉、触觉、语言的多模态机器人数据集，用于训练RFM-1构建层次化的世界模型。通过学习视频序列生成，RFM-1掌握了低层次的物理规律，如刚体、铰链的运动特性等。输入初始画面和动作序列，它能预测出...
大数据文摘授权转载自机器人大讲堂 近年来,随着机器人在工业、交通和家庭环境中扮演越来越重要的角色,如何在规划机器人任务和运动时考虑到周围人类的动作,已经成为一个关键课题。得益于自然语言处理(NLP)研究的重大进展,大型语言模型(LLMs)的出现极大地提升了机器人任务和运动规划(TAMP)的性能。然而,之前的方法往往忽视...
这是谷歌首次将语言大模型和机器人相结合，教机器人做人类一样的事情。论文地址：https://arxiv.org/pdf/2204.01691.pdf 用谷歌论文的题目说就是：「Do as I can，not as I say」。大概是这个意思：「你已经是个成熟的机器人了，我做的，你也能做，不会的可以学，不熟的可以练！」谷歌为这个机器人取名...