亚马逊推出“自动推理检查”工具,对抗 AI 幻觉

图灵汇官网

引言

图灵汇 12 月 4 日报道,亚马逊云科技(AWS)推出了一款名为“自动推理检查”的新工具,旨在应对 AI 模型产生的幻觉问题。这款工具在拉斯维加斯举办的 re:Invent 2024 大会上亮相,通过交叉验证客户提供的信息来确保模型的回应准确无误。

新工具介绍

AWS 宣称,这是市场上首个专门针对幻觉问题的防护工具。不过,这一说法可能并不完全准确。例如,微软在今年夏季推出了名为“校正”的功能,其功能与“自动推理检查”非常相似,都是为了标记出可能包含错误的 AI 生成文本。此外,谷歌的 Vertex AI 平台也提供了类似工具,帮助用户通过第三方数据、自有数据集或谷歌搜索来增强模型的可靠性。

工作原理

“自动推理检查”依托于 AWS 的 Bedrock 模型托管服务,尤其是其中的 Guardrails 工具。它通过分析模型生成的答案来判断其正确性,并为客户建立一个事实基础。该工具还会创建规则,以便优化和应用到模型中。当模型生成答案时,“自动推理检查”会对这些答案进行验证,如果发现可能的幻觉现象,则会利用事实基础给出正确的答案,并将正确的答案与潜在的错误答案一同展示给客户,以便他们能够评估模型的准确性。

实际应用

目前,普华永道已经开始使用“自动推理检查”为其客户提供更加可靠的 AI 助手服务。AWS 的 AI 和数据副总裁 Swami Sivasubramanian 表示,此类工具正是吸引更多客户使用 Bedrock 的关键因素之一。

专家观点

尽管 AWS 对“自动推理检查”充满信心,但一些专家指出,消除 AI 幻觉并非易事。AI 模型本质上依赖于统计学,通过识别数据模式来进行预测。因此,模型的回答并不是确定性的答案,而是在一定误差范围内的预测。AWS 称其工具采用“逻辑准确”和“可验证的推理”得出结论,但并未提供具体的数据来证明其可靠性。

图片

亚马逊推出“自动推理检查”工具,对抗 AI 幻觉

本文来源: 互联网 文章作者: 智能科技
    下一篇

导读:2023年初,GPT3.5发布,效果让全世界咋舌。人们恐慌,人工智能时代来临了。随之而来的是各大互联万公司纷纷下场比拼大模型,几乎每个月都能耳听目见新的大模型诞生,并且在某个参数上和“GPT几点