图灵汇官网

引言

英伟达实验室推出了一项新技术DexMimicGen，专注于缓解机器人训练数据短缺的问题。借助这一方法，仅需五次演示就能生成上千条新数据，从而大幅提升机器人在多任务处理上的能力。

DexMimicGen的核心优势

DexMimicGen在虚拟场景中展现出卓越性能，任务完成率接近97%，甚至优于使用真实人类数据的结果。同时，它拥有强大的跨任务适应能力，这意味着训练出的策略能在不同类型的任务中持续稳定地发挥作用。

实践效果

科学家们利用DexMimicGen生成的数据来训练模仿学习模型，并将其部署到真实的机器人设备上。测试显示，采用这种生成数据训练的机器人在虚拟空间里的表现更加出色。比如，在整理抽屉的操作中，其成功率从最初的0.7%跃升至76%；搭建积木时，成功率从3.3%提高到80.7%；至于分类罐子的任务，成功率更是达到惊人的97.3%。

现实应用与稳定性

除了理论验证，DexMimicGen的实际运用同样令人满意。在易拉罐分拣任务里，仅仅依靠40组生成的数据，就实现了90%的成功率，而未使用生成数据的情况下根本无法完成任务。另外，该系统还证明了较强的抗干扰特性，即便面对初始条件的变化，仍能维持一定水平的成功概率。

技术背景

DexMimicGen是在MimicGen的基础上进一步改进而来，后者同样是英伟达与德克萨斯大学奥斯汀分校合作开发的产品。针对双臂机器人的精细操控需求，DexMimicGen进行了针对性优化。它定义了并行、协作以及顺序三种子任务类别，并为此设计了专门的操作逻辑，从而实现单臂独立运作、双臂精准配合以及按序执行的功能。

数据生产流程

DexMimicGen的工作步骤涵盖数据收集、划分及创建三个阶段。研究人员戴上增强现实眼镜，远程指导机器人执行任务，从而获得样本数据。随后，这些数据被分为并行、协作和顺序三类片段。接着，DexMimicGen会在模拟器内随机调整物体的位置与角度，并选取一个基准片段，通过计算转换生成全新的演示内容。整个过程中，系统会反复确认任务是否达成目标，保存成功的示例，最终累积出大量优质的数据集。

团队成员

DexMimicGen的研发主力是由三位来自UT奥斯汀的中国籍研究生组成，他们均师从该校助理教授朱玉可。除此之外，还有多位学者参与了这项工作，其中包括Ajay Mandlekar以及范麟熙。

展望

DexMimicGen凭借其独特的解决方案，有效应对了机器人训练数据匮乏的挑战，在虚拟世界和实际操作中均取得了显著成就。这项技术或将引领机器人学习进入生成式时代，为未来的技术革新奠定坚实基础。