图灵汇官网

引言

图灵汇报道，亚马逊云科技（AWS）推出了一款名为“自动推理检查”的新工具，旨在解决AI模型产生的幻觉问题。这款工具在拉斯维加斯举办的re:Invent 2024大会上亮相，通过交叉引用客户提供的信息来验证模型的响应准确性。

AWS的新工具

AWS声称，“自动推理检查”是首个且唯一的针对幻觉的防护措施。然而，这一说法可能并不完全准确。实际上，微软在今年夏天推出的“校正”功能与之非常相似，都用于标记AI生成文本中的潜在错误。此外，谷歌的Vertex AI平台也提供了类似工具，帮助用户通过第三方数据、自有数据集或谷歌搜索来增强模型的可靠性。

“自动推理检查”通过AWS的Bedrock模型托管服务，特别是Guardrails工具，来评估模型的回答是否准确。客户可以上传信息以建立一个事实基础，然后“自动推理检查”会创建相应的规则，这些规则可以被优化并应用到模型中。当模型生成回答时，该工具会验证这些回答，并在出现幻觉时提供正确的答案。它还会将可能的错误答案一并展示，以便客户了解模型偏离正确答案的程度。

实际应用

普华永道已经使用“自动推理检查”为客户提供AI助手服务。AWS的AI和数据副总裁Swami Sivasubramanian表示，这类工具是吸引客户使用Bedrock的重要因素之一。

然而，Techcrunch引用的一位专家指出，试图消除生成式AI的幻觉如同试图从水中去除氢一般困难。AI模型产生幻觉的原因在于它们本质上并不“知道”任何事情，而只是通过识别数据中的模式来进行预测。因此，模型的响应是在一定误差范围内的预测。

AWS的声明

尽管AWS宣称“自动推理检查”采用“逻辑准确”和“可验证的推理”得出结论，但该公司并未提供任何数据来证明该工具的可靠性。

总结

尽管AWS推出了“自动推理检查”工具，但在实际应用中仍需进一步验证其效果。其他科技巨头如微软和谷歌也在开发类似工具，以应对AI模型产生的幻觉问题。