图灵汇官网

导读

英伟达实验室提出了一种名为DexMimicGen的新方法，专门解决机器人训练数据不足的问题。只需五次演示，该方法便能生成大量新的演示数据，显著提高了机器人在多种任务中的表现。

改写内容

英伟达实验室开发了一种创新的方法——DexMimicGen，旨在解决机器人训练数据稀缺的问题。该方法仅需五次演示即可生成1000个新的演示数据，大幅提升了机器人在各种任务中的表现。

DexMimicGen的关键优势

DexMimicGen在仿真环境中表现出色，任务成功率高达97%，甚至超过了使用真人数据的效果。此外，该方法具备跨任务的泛化能力，使得训练出的策略能够在多种不同任务中保持良好的表现。

应用与成效

研究人员利用DexMimicGen生成的数据训练模仿学习策略，并将其应用于实际的机器人系统中。实验表明，使用DexMimicGen生成的数据训练的机器人在仿真环境中的任务成功率显著提升。例如，在整理抽屉的任务中，成功率从0.7%提升至76%；在积木组装任务中，成功率从3.3%提升至80.7%；而在罐子分类任务中，成功率更是高达97.3%。

实际应用与鲁棒性

除了仿真环境，DexMimicGen在实际应用中也表现出色。在易拉罐分拣任务中，仅用40个生成的演示数据，成功率就达到了90%，而不使用生成数据时的成功率为零。此外，DexMimicGen还展示了较强的鲁棒性，即使在初始状态分布变化的情况下，也能保持一定的成功率。

技术细节

DexMimicGen是基于MimicGen改造而成，后者也是由英伟达和德克萨斯大学奥斯汀分校（UT奥斯汀）联合研发的成果。DexMimicGen在MimicGen的基础上做了改进，特别是针对双臂机器人灵巧操作任务进行了优化。该方法引入了并行、协调和顺序三种子任务类型，并设计了相应的执行机制，以实现双臂的独立动作、精密协同和特定顺序操作。

数据生成流程

DexMimicGen的工作流程包括数据采集、分割和生成。研究人员通过佩戴XR头显，远程控制机器人完成任务，产生示范数据。这些数据会被分割成并行、协调和顺序三种类型的片段。DexMimicGen通过随机化模拟环境中物体的位置和姿态，并选择一个参考片段，计算变换并生成新的演示数据。系统会不断检查任务是否成功完成，记录有效的演示数据，最终生成大量高质量的数据。

作者与团队

DexMimicGen的主要贡献者是三位来自UT奥斯汀的华人学生，他们都师从UT奥斯汀助理教授朱玉可（Yuke Zhu）。此外，该项目还包括其他几位研究者的贡献，如Ajay Mandlekar和范麟熙（Jim Fan）。

总结

DexMimicGen通过创新的方法解决了机器人训练数据不足的问题，不仅在仿真环境中取得了优异的成绩，也在实际应用中表现出色。该技术有望推动机器人学习流程向生成式方向发展，为未来的机器人技术进步提供有力支持。