在这项工作中,我们使用了一个联合训练管道,该管道利用现有的静态ALOHA数据集来提高移动操作的模仿学习性能,特别是双手手臂动作。静态ALOHA数据集总共有825个任务演示,包括Ziploc密封、拿起叉子、糖果包装、撕纸巾、打开带盖的塑料杯、玩乒乓球、分发胶带、使用咖啡机、铅笔移交、固定尼龙搭扣电缆、插电池槽和用螺丝刀处理。
使用Mobile ALOHA收集的数据,执行监督行为克隆,发现与现有静态ALOHA数据集的联合训练,可以提高移动操作任务的性能。每个任务仅只需采集50次,联合静态数据集训练可以将成功率提高90%。使用Mobile ALOHA能够自主完成复杂的移动操作任务,如炒菜、开门等。特别感谢斯坦福研究团队Zipeng Fu, Tony Z. Zhao, and Chelsea Finn ...
具体验证步骤是: 1)注释训练代码中eval_bc部分代码;2)将co-train的数据和仿真数据混合,训练任务,得到策略1;3)单纯只使用仿真数据,训练一个策略2;4)通过比较策略1和策略2的效果,就可以验证co-train是否有效。 非常重要的一点,无论是后面训练还是保存数据,都需要指定自己的数据目录.该目录在文件constants.py或者al...
硬件配置：确保松灵Cobot Magic配备了高性能机械臂、深度相机和工控机等硬件组件。根据需求选择适合的工控机，如Nano开发套件或配备4060显卡的APQX7010 IPC，以满足不同应用的性能需求。软件配置：推荐使用Ubuntu 20.04作为操作系统，并安装CUDA 11.3作为GPU驱动，以确保与Mobile ALOHA数据集的兼容性。安装...
本文基于 mobile-aloha的开源代码复现工作，分为四大部分：下载与修改源代码、安装依赖、准备数据集、训练与评估。首先，下载仓库源代码，链接为：github.com/MarkFzp/act-plus-plus。注意，源代码中存在一些小错误或说明不清，已做修改。可直接pull本仓库代码。为简化步骤，使用requirements.txt文件通过pip...
项目的另一个亮点是协同训练(co-training),即使用现有的静态ALOHA数据集(包括从黑色桌面上收集的825个演示)和Mobile ALOHA项目中新采集的移动示教数据来共同训练机器人。 在协同训练下,每项任务只需要观看50次人类演示,就能将成功率提高到90%,显著提升了机器人执行复杂双手移动任务的技能和效率。
1. 💡 研究人员提出了一种低成本的整体远程操作系统,名为 Mobile ALOHA,用于收集关于整体远程操作的数据。 2. 💡 Mobile ALOHA 通过将其放在轮式底座上,扩展了原始 ALOHA 的功能,使其具有移动能力。 3. 💡 研究人员使用静态 ALOHA 数据集进行模仿学习,通过预训练和联合训练,实现了在移动操作任务中的良好性能...
如果从机器人的发展角度审视MobileALOHA,那么它最大的意义可能是动摇了一个长期困扰AI和机器人发展的诅咒——莫拉维克悖论(Moravec’s Paradox)。 所谓莫拉维克悖论,是由卡耐基梅隆大学机器人系的教授汉斯·莫拉维克(HansMoravec)最早提出的。在其于1988年出版的著作《智力后裔:机器人和人类智能的未来》(MindChildren:Th...
软件配置 为了更好地适配和利用开源硬件，推荐使用Ubuntu 20.04与CUDA 11.3作为操作系统和GPU驱动。这将确保与Mobile ALOHA数据集的兼容性，支持从简单的抓取放置到复杂操作如倒水、做饭、乘电梯、收拾物品等任务的实现。环境配置 在开始使用前，请确保下载并安装模拟环境数据集，并将其复制到act-plus-plus...
据介绍,Mobile ALOHA并不是一个机器人,而是一个用于数据收集的低成本全身远程操作系统。可以通过模仿学习,执行各种复杂的任务,不仅可以自主操作,还可以支持全身远程操控。研发团队表示,他们使用 Mobile ALOHA 收集的数据执行监督行为克隆,并发现与现有静态 ALOHA 数据集的联合训练可以提高移动操作任务的性能。每项任务进行...