谷歌Deep Mind在今年7月发表的论文“RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control“。 摘要:研究了如何在互联网规模数据上训练的视觉语言模型可以直接整合到端到端机器人控制中,促进泛化并实现涌现的语义推理。目标是使单个端到端训练模型既能学习将机器人观察映射到动作,又能享受...
简单来说， RT-1 是利用预训练模型对视觉与语言进行编码，然后再通过解码器输出动作。与之不同， RT-2 把语言、动作、图片放在一个统一的输出空间，利用 VLMs 产生语言，也可以理解为“动作”为特殊的语言。总的来说， RT-2 分 为两步：首先对 VLMs 在大规模互联网数据进行预训练，然后在机器人任务上微调。
谷歌的 RT-2 机器人并不完美。在《纽约时报》记者目睹的实际演示中，它错误地识别了一罐柠檬味苏打水的味道（说成「橘子味」）。还有一次被问到桌子上有什么水果时，机器人回答成「白色」（实际是香蕉）。谷歌发言人解释说，该机器人使用了缓存的答案来回答之前测试者的问题，因为它的 Wi-Fi 曾短暂中断过。除...
而RT-2 的创新之处在于,RT-2 使用前面所述的视觉语言模型(VLM)PaLM-E 和另一个视觉语言模型 PaLI-X 作为其底座——单纯的视觉语言模型可以通过网络级的数据训练出来,因为数据量足够大,能够得到足够好的效果,而在微调(fine-tuning)阶段,再将机器人的动作数据加入进去一起微调(co-finetuning)。 这样,机器人相当...
谷歌表示，RT-2 是一种视觉语言动作模型，可将互联网上采集的信息和图像转化为机器人可理解的动作，...
RT-2 架构及训练过程 其实早在去年,谷歌就曾推出过 RT-1 版本的机器人,只需要一个单一的预训练模型,RT-1 就能从不同的感官输入(如视觉、文本等)中生成指令,从而执行多种任务。 作为预训练模型,要想构建得好自然需要大量用于自监督学习的数据。RT-2 建立在 RT-1 的基础上,并且使用了 RT-1 的演示数据,...
7月28日，谷歌DeepMind推出了一款新的机器人模型Robotics Transformer 2(RT-2)，它是全球第一个控制机器人的视觉-语言-动作（VLA）模型，它可以使机器人能够直接通过拍摄或者感知环境的方式获取视觉信息，通过语言理解模块理解人类的语言指令，然后通过动作执行模块进行相应的动作操作。现在不再用复杂指令，机器人也能...
但谷歌也指出，目前RT-2只能帮助机器人在它们已经知道如何执行的物理任务上变得更好，而不能从零开始学习它们。不过对此也可以理解，Robotics Transformer模型的训练与进化是一个循序渐进的过程，每个版本的迭代都是层层递进的，不可能仅靠几个月的研发就实现革命性的巨大突破。我们期待RT-3公开的那一天能带给我们更多...
7月29日,谷歌旗下的AI研究机构DeepMind发布了RT-2,这是一种新的视觉语言动作模型(VLA)。(地址:https://blog.google/technology/ai/google-deepmind-rt2-robotics-vla-model/) 据悉,RT-2可以从互联网和机器人数据中自动学习,并将这些知识转化为机器人控制的通用指令实现一系列操作动作,同时在思维推理链加持下,RT...
谷歌新的 RT-2 模型，全称为 Robotic Transformer 2，运用 Transformer 架构作为其模型的基座。2018 年...