图灵汇官网

导读

最近，一项由Jim Fan参与的研究推出了自动化数据生成系统DexMimicGen。该系统能够基于少量人类演示，生成类人机器人灵巧手的运动轨迹，从而解决训练数据集的获取难题，并显著提升实验中机器人的表现。

机器人训练数据不再难求

获取大规模高质量的机器人训练数据集一直是个难题。然而，英伟达、UT Austin和UCSD的研究团队最近推出了一种名为DexMimicGen的大规模自动化数据生成系统，成功解决了这一问题。

DexMimicGen：自动化数据生成系统

DexMimicGen利用少量的人类演示，生成大量的类人机器人灵巧手运动轨迹，从而减少了人工干预的需求。这意味着训练数据集的生成效率大大提升。

核心思想

DexMimicGen的核心思想是通过物理仿真中的演示转换和重放，自动生成大量适合模仿学习的训练数据。仅用5个人类演示，DexMimicGen就能生成1000个双手灵巧任务的演示。从60个人类演示中，研究团队共生成了21000个演示，涵盖9种不同的任务。

提升机器人表现

研究团队发现，随着DexMimicGen生成的数据量增加，机器人的表现也随之提升。此外，DexMimicGen结合real2sim2real方法生成了真实世界的演示。他们创建了一个现实世界罐子分类任务的数字孪生模型，通过在仿真环境中重放现实世界的人类演示，利用DexMimicGen生成轨迹，并将生成的轨迹转移回现实世界，从而实现了高达90%的成功率，而仅靠人类演示的成功率为0%。

解决数据采集难题

模仿学习是从人类演示中获取机器人操作技能的有效方法。尽管近年来的研究通过协作数据采集取得了进展，但在类人机器人领域，数据采集仍然是一个主要瓶颈。传统的数据采集方法需要大量人力和资源，而DexMimicGen提供了一种高效替代方案。

DexMimicGen方法介绍

DexMimicGen借鉴了MimicGen的方法，但针对双手灵巧操作进行了改进。它引入了灵活的子任务分割策略，使每只手臂能够独立执行其子任务，并能够适应必要的协调阶段。此外，DexMimicGen采用了同步策略和排序约束机制，以确保动作的精确对齐和正确的执行顺序。

子任务分类法

DexMimicGen生成用于双手灵巧操作的数据，涉及三个关键任务类型：并行子任务、协调子任务和顺序子任务。通过这些任务类型，DexMimicGen能够更好地处理复杂的双手操作。

并行子任务

在双臂机器人设置中，每个机械臂需要独立操作，以完成不同的任务目标。DexMimicGen引入了并行子任务，使每个手臂可以根据自己的任务列表独立行动。这种策略允许非同步执行，确保每个手臂都能顺利完成其任务。

协调子任务

对于需要精确配合的任务，如盖子放置，DexMimicGen通过确保两个手臂以同步的方式执行轨迹，从而实现这一点。它采用同步策略，确保两个手臂在协调子任务中剩余的步骤相同。此外，DexMimicGen提供了两种源演示变换方案：「转换」和「重演」。

顺序子任务

在某些任务中，如倾倒任务，子任务的执行顺序至关重要。DexMimicGen通过确保每个手臂按照正确的顺序执行任务，从而提高整体任务的成功率。

通过这些创新，DexMimicGen不仅提高了数据生成的效率，还显著提升了机器人的表现。