图灵汇官网

摘要

在复杂规划与决策场景中，虚拟环境扮演着至关重要的角色，但构建这类环境往往成本高昂且复杂度极高。本研究聚焦于探索当前的语言模型能否担当起虚拟世界的“模拟器”角色，即准确预测行动如何影响不同状态的变化，以此减少大量手动编码的工作量。为此，我们引入了一项名为“ByteSized32-State-Prediction”的新基准，它包含了文本游戏状态转换的数据集，旨在定量评估语言模型在作为文本世界模拟器方面的效能。

试验结果显示，尽管GPT-4表现出色，但在没有额外创新的情况下，它仍然难以可靠地承担世界模拟器的角色。本文不仅揭示了当前语言模型的能力边界及其局限性，还提供了一个跟踪未来技术发展的重要基准。

结果

• 预测动态与静态转换的难易度：由动作驱动的状态转换比环境驱动的转换更容易被预测。GPT-4正确模拟了77.1%的动作驱动转换，而环境驱动转换的最高成功率仅为49.7%。这表明底层环境动态的模拟是“LLM-Sim”任务中最具有挑战性的部分。

• 预测静态转换与动态转换的比较：通常情况下，模拟静态转换比动态转换更为简单。预测给定初始状态和动作是否会导致状态变化相对容易，而动态转换则需要利用上下文信息来模拟游戏引擎的全部动态过程。

• 预测完整游戏状态与状态差异：在动态状态下，预测状态差异提高了模拟静态转换的性能超过10%；然而，在模拟动态转换时，引入状态差异增加了任务输出格式的复杂性，GPT-4的性能也因此受到影响。

• 游戏规则的重要性：在上下文中提供明确游戏规则时，GPT-4的预测准确率显著提升至92.1%。而缺乏规则时，其预测准确率下降至61.5%。这表明规则的存在对于GPT-4的性能至关重要。

• 人类与GPT-4的表现对比：在特定的游戏场景下，进行完整游戏状态预测时，人类的准确率达到了80%，而GPT-4的准确率仅为50%。这表明尽管人类在某些游戏任务中表现出色，但GPT-4仍有巨大的提升空间。

讨论

• 需要算术、常识或科学知识时的错误倾向：GPT-4在处理需要算术运算、常识理解或科学知识的任务时，错误率较高。尤其在同时预测动作驱动和环境驱动的转换时，它更倾向于动作驱动的转换，导致在仅模拟环境驱动转换时，未能正确识别未发生变化的值。

结论与展望

本文提出的“ByteSized32-State-Prediction”基准为评估语言模型在准确模拟状态空间转换任务中的效能提供了重要框架。虽然GPT-4在某些任务上表现出色，但在涉及复杂变化的状态转换中，其最佳准确率仅达到59.9%。模拟过程中错误的累积使得单步准确率受限，限制了实际应用的效用。本研究揭示了当前语言模型在作为文本世界模拟器方面的局限性，并指出了未来技术发展的关键方向。此外，它强调了在使用语言模型进行基于文本的世界模拟时，必须谨慎考虑潜在的错误信息、幻觉以及可能带来的伦理和社会影响。未来的研究应着重于开发更强大的语言模型模拟器，并探索其在高影响力领域的应用潜力。