图灵汇 12 月 4 日报道,亚马逊云科技(AWS)推出了一款名为“自动推理检查”的新工具,旨在应对 AI 模型产生的幻觉问题。这款工具在拉斯维加斯举办的 re:Invent 2024 大会上亮相,通过交叉验证客户提供的信息来确保模型的回应准确无误。
AWS 宣称,这是市场上首个专门针对幻觉问题的防护工具。不过,这一说法可能并不完全准确。例如,微软在今年夏季推出了名为“校正”的功能,其功能与“自动推理检查”非常相似,都是为了标记出可能包含错误的 AI 生成文本。此外,谷歌的 Vertex AI 平台也提供了类似工具,帮助用户通过第三方数据、自有数据集或谷歌搜索来增强模型的可靠性。
“自动推理检查”依托于 AWS 的 Bedrock 模型托管服务,尤其是其中的 Guardrails 工具。它通过分析模型生成的答案来判断其正确性,并为客户建立一个事实基础。该工具还会创建规则,以便优化和应用到模型中。当模型生成答案时,“自动推理检查”会对这些答案进行验证,如果发现可能的幻觉现象,则会利用事实基础给出正确的答案,并将正确的答案与潜在的错误答案一同展示给客户,以便他们能够评估模型的准确性。
目前,普华永道已经开始使用“自动推理检查”为其客户提供更加可靠的 AI 助手服务。AWS 的 AI 和数据副总裁 Swami Sivasubramanian 表示,此类工具正是吸引更多客户使用 Bedrock 的关键因素之一。
尽管 AWS 对“自动推理检查”充满信心,但一些专家指出,消除 AI 幻觉并非易事。AI 模型本质上依赖于统计学,通过识别数据模式来进行预测。因此,模型的回答并不是确定性的答案,而是在一定误差范围内的预测。AWS 称其工具采用“逻辑准确”和“可验证的推理”得出结论,但并未提供具体的数据来证明其可靠性。