图灵汇官网

导读

斯坦福大学李飞飞团队提出了一种名为“数字表亲”的新概念，旨在降低真实场景转化为模拟场景的成本，并提升学习的泛化性能。

数字表亲：一种新型模拟工具

数字表亲不是真实物体的虚拟复制品，而是拥有相似几何和语义特征的对象。该团队开发了一种名为自动数字表亲创建（ACDC）的方法，能够生成完全可交互的场景，并训练出可以在零样本条件下部署的机器人策略。

实验结果

实验显示，基于数字表亲训练的策略在零样本虚拟到现实的迁移中，成功率达到90%，远超数字孪生的25%。此外，使用数字表亲训练的策略在分布外的性能更为稳健，同时支持零样本的模拟到现实策略迁移。

方法概述

ACDC 包含三个连续步骤：

1. 物体信息提取：从输入的RGB图像中提取每个物体的相关信息。
2. 数字表亲匹配：基于资产数据集，为每个检测到的物体匹配相应的数字表亲。
3. 场景生成：对选定的数字表亲进行后处理，生成完全可交互的模拟场景。

实验验证

该团队进行了多项实验，以验证ACDC方法的有效性。实验结果表明，ACDC能够生成高质量的数字表亲场景，且基于这些数字表亲训练的策略在零样本迁移方面表现出色。

结论

ACDC 提供了一种高效的自动化方法，能够生成与真实场景高度对应的数字表亲场景。这些数字表亲不仅成本低廉，而且训练出的策略具有较强的泛化能力和稳健性，支持零样本的模拟到现实迁移。