牛津大学研究团队发现生成式 AI 可能遭遇“模型崩溃”

图灵汇官网

【环球网科技综合报道】9月5日,全球科技领域聚焦一则重要科研动态。牛津大学的伊利亚·舒梅洛夫博士及其研究团队在权威科学期刊《自然》上发布研究成果,揭示了生成式人工智能(AI)软件在单一依赖自身生成内容时,其输出质量呈现急速下滑的现象。

研究发现,AI的回答质量在经历两次查询后便开始显现偏差。到第五次查询时,质量显著下降,至第九次连续查询时,输出内容已沦为毫无意义的信息。这一现象被研究者形象地称为“模型崩溃”,指的是AI在不断利用其生成的数据进行自我训练的过程中,输出的内容逐渐背离现实世界,最终丧失实际价值。

舒梅洛夫博士指出,“模型崩溃”的发生速度之快及隐蔽程度令人震惊。这一过程首先影响数据代表性不足的领域,随后逐步侵蚀输出内容的多样性和整体质量,最终导致数据表现的整体恶化。这一现象可能引发一系列严重后果。

为验证“模型崩溃”的存在,研究人员采取了一种创新方法:利用预训练的AI驱动的维基百科,让AI模型基于其生成的内容进行迭代更新。随着AI生成数据的累积,原有的训练集受到侵蚀,输出信息的质量随之降低。在研究中,维基百科的条目从描述14世纪英国教堂尖顶的介绍,意外地转变为了探讨各种颜色短尾兔子的学术论文。

此外,亚马逊网络服务团队于6月份公布的一项研究揭示,约57%的网络文本经过了AI算法的翻译。若人类生成的数据在互联网上被AI过滤速度过快,结合舒梅洛夫博士的研究发现,AI系统可能正面临一种“自我毁灭”状态,同时也对互联网造成破坏。

研究结论强调,为了保障AI的长期健康发展,必须确保AI能够接触并利用非AI生成的现有内容,同时持续引入新的人工生成内容,以避免“模型崩溃”的发生。

本文来源: 互联网 文章作者: 金融观察
    下一篇

导读:机器之心报道 机器之心编辑部 2023 年,Anthropic 发布了负责任扩展策略(Responsible Scaling Policy,RSP),这是一系列技术和组织协议,Anthropic