不过邵林关注的是另一个不同的方向，Real2Sim2Real，从现实再到模拟再到现实，将仿真方法应用于现实后比较它们的性能，根据仿真与现实的差异更新仿真模型和方法。邵林的论文《TieBot: Learning to Knot a Tie from Visual Demonstration through a Real-to-Sim-to-Real Approach》，被收录在即将召开的 CoRL 2024（...
为了有效地将在模拟中学习的知识迁移到现实世界并缩小 Sim2Real 差距,最近出现了基于 3DGS 的研究 [17, 20, 28]。比如 Robo-GS [20] 和 SplatSim [28]。Robo-GS 通过绑定高斯点、网格和像素来实现可操作机械臂重建,主要侧重于高保真 Real2Sim 传输,然而,它对 Sim2Real 阶段的讨论有限。SplatSim 重建机械...
本质上并不会使得通用这个性能加速出现,也没有把real2sim2real这套范式的理论上优势爆发出来,按照定位上看,可能ACDC会在一些任务上提供很好的涨点性能。但是一步步来说,这一步确实是Real-Sim-Real这套范式爆发前很具有浓墨重彩的很踏实的一步,者极大的鼓舞了我们坚持这套范式的决心。 Text-3D, Image-3D, ...
在机器人优化方式上，基于Sim2Real具身智能引擎也可以采用模块化设计加树状搜索的方式，降低学习成本，提升优化效率。这种方式能够在Sim2Real具身智能训练场中，跟机器人技能训练统一目标，在一个框架体系下完成，实现本体设计与任务技能学习的统一。目前，跨维基于DexVerse™引擎，形成了包括具身智能感知套件、RoPilot新...
基于Sim2Real具身智能引擎,W1具身智能机器人就在本体设计上轻松实现了包含机器人任务执行目标、机器人构型及运动学和动力学参数空间、可微物理仿真引擎等几个关键模块。通过强化学习等方式,跨维智能还针对目标场景和机器人任务技能,在参数空间中进行离散加局部连续优化的方式,实现本体的更优设计;而且这种方式也能实现针对...
在Sim2Real 的探索中,各研究团队的切入点各不相同。 前面提到的 Jim Fan 的 HOVER 主要做的是优化模拟环境,而苏昊选择的是深耕合成数据。 根据Scaling Law,训练具身智能机器人需要大量涵盖各种场景的多样化数据,然而,获取这些真实数据的成本极高且耗时耗力。
贾奎：从学术界的角度，Sim2Real AI 是一个长期存在的技术路径，是实现空间与具身智能的主流路径之一。我们团队也是从学术界起步，在产品和业务落地的过程中，成功地趟出一条独特道路：能够在多个场景中以 100% 的合成数据，在毫米 / 亚毫米的精度要求下，实现 99.9% 以上的任务成功率，这在全球范围内可能都是...
3Sim2Real 物体迁移 我们希望利用 OBJECTFOLDER 2.0 中的虚拟物体学习的模型可以泛化到真实世界的物体上。为此,我们测评了模型在物体尺寸估计、触点定位、形状重建这三个任务上的迁移性能,说明了数据集的有效性。 物体尺寸估计 物体的所有感官模态都与尺寸紧密相关。我们利用 OBJECTFOLDER 2.0 数据集中渲染的多感官数据...
real2sim2real的场景生成和策略学习 无论是数字孪生还是数字表亲，最终的落脚点还是要在真实环境中对比性能。因此实验的最后，团队在完全真实（in-the-wild）的厨房场景中端到端地测试了完整的ACDC管道和自动化策略学习框架。在经过数字表亲的专门模拟训练后，机器人可以成功打开厨房橱柜，证明了ACDC方法迁移到真实环境中...
Q4:在数字表亲上训练的策略能否实现零样本的sim2real策略迁移? 通过ACDC进行场景重建 首先团队需要论证的最重要的问题,就是ACDC能生成高质量的数字表亲场景吗? 从表格中的数据来看,结果十分令人满意。 以下是在sim-to-sim场景中对ABCD场景重建进行的定量和定性评估。