图灵汇官网

导读

教会机器人在新环境中导航一直是一项具有挑战性的任务。虽然可以利用人类录制的真实世界数据进行训练，但这些数据不仅稀缺，而且收集成本高昂。数字模拟虽然快速且可扩展，但在将机器人从虚拟世界转移到现实环境中时，往往表现不佳。最近，出现了一种潜在的更优方案：一个结合生成式AI模型和物理模拟器的新系统，用于创建更接近真实世界的虚拟训练场。

新方案

这个新系统通过生成式AI模型和物理模拟器相结合，为机器人提供更加贴近真实世界的虚拟训练环境。这种方法训练的机器人在现实世界中的表现比使用传统技术训练的机器人更好。研究人员使用这一名为LucidSim的系统训练了一只机器狗进行跑酷，使其能够爬过箱子、上楼梯，而无需接触任何真实世界的数据。这种方法展示了生成式AI在教授机器人执行复杂任务方面的潜力，并提出了一种可能性：我们或许最终可以在虚拟世界中完全训练机器人。

LucidSim系统

LucidSim系统使用生成式AI模型的组合来创建视觉训练数据。研究人员首先为ChatGPT生成了数千个提示，让它创建涵盖多种环境的描述，这些环境代表了机器人可能在现实世界中遇到的条件，包括不同的天气、时间和光照条件。这些描述随后被输入一个系统，该系统将3D几何和物理数据映射到AI生成的图像上，从而创建一系列短视频，为机器人绘制轨迹。这些信息帮助机器人计算它需要导航的物体的高度、宽度和深度，例如一个箱子或一段楼梯。

测试结果

研究人员通过让一只配备摄像头的四足机器人完成多项任务来测试LucidSim系统的性能，包括找到一个交通锥或足球，爬过一个箱子，以及上下楼梯。结果显示，机器人使用LucidSim时的表现明显优于使用传统模拟系统时的表现。在寻找交通锥的20次测试中，LucidSim实现了100%的成功率，而使用传统模拟系统的成功率仅为70%。同样，在另一组20次找到足球的测试中，LucidSim的成功率为85%，而传统系统仅为35%。最后，当机器人运行LucidSim时，它在所有10次楼梯攀爬测试中都成功完成了任务，而传统系统的成功率仅为50%。

展望

MIT副教授Phillip Isola认为，如果LucidSim能够直接利用先进的生成式视频模型，而不是当前这种语言、图像和物理模型的拼接组合，未来的结果可能会进一步改善。纽约大学博士生Mahi Shafiullah也表示，研究人员采用生成式AI的方式是一种新颖的尝试，将为更多有趣的新研究铺平道路。华为的资深研究科学家Zafeirios Fountas指出，能够完全基于AI生成的情境和场景从零开始训练机器人是一个重要成就，其影响可能不仅限于机器人，还能扩展到更广泛的通用AI智能体。

未来方向

下一步研究将尝试使用完全合成的数据训练人形机器人。他们还计划利用LucidSim训练用于工厂和厨房的机器人手臂，这些任务需要比在场景中奔跑更高的灵活性和物理理解能力。Isola认为，如果能够利用生成式AI增强的模拟来创造大量多样性，并训练出一个能够在咖啡馆中操作的非常强大的智能体，那将非常酷。

图片

来源

MIT Technology Review | 从左到右：Phillip Isola, Ge Yang, and Alan Yu

结论

这一新系统展示了生成式AI在训练机器人方面的巨大潜力，未来的研究将继续探索如何利用这一技术改进机器人的训练方法，使其在各种复杂环境中表现出色。