标题：图灵奖得主Yoshua Bengio携手英国政府，推进AI安全守护项目

现代人工智能领域的领军人物、图灵奖得主Yoshua Bengio，正全心投入一个旨在为AI系统嵌入安全机制的项目。此项目，名为“AI安全守护者”，由英国政府资助。Bengio担任项目的科学总监，为项目提供关键性意见和科学指导。

“AI安全守护者”项目的目标是创建一种AI系统，能够评估关键领域中部署的AI系统的安全性。在过去的四年里，项目获得了5900万英镑的资金，由英国高级研究与发明署（ARIA）提供。ARIA成立于去年一月，旨在投资具有变革潜力的科学研究。

项目旨在构建能够提供定量保证的AI系统，比如风险评分，以评估其对现实世界的影响。ARIA的项目负责人David Dalrymple表示，该计划通过结合科学模型与数学证明，以弥补人工测试的不足，评估新系统的潜在危害。

项目期望通过融合科学模型与数学证明，构建AI安全机制，以实现AI系统的自我理解和风险降低。设想中的“AI守门员”将负责监控并降低其他AI代理的安全风险，确保在高风险领域运营的AI系统（如交通或能源系统）能够按预期运行。

Dalrymple和Bengio指出，当前缓解高级AI系统风险的技术，如红队测试，存在局限性，无法完全依赖这些手段确保关键系统安全。他们希望项目能够提供新的方法，减少对人力的依赖，更多依赖数学确定性。

ARIA不仅为AI安全机制提供了资金，还向涉及高风险行业的个人或组织提供资金，帮助他们开发相关应用。第一年资金总额为540万英镑，之后每年增加820万英镑，申请截止日期为10月2日。

项目还寻求与非营利组织合作，构建AI安全机制，ARIA计划投入高达1800万英镑，预计在明年年初接受资金申请。项目目标是创建一个拥有多元化董事会的非营利组织，涵盖多个行业，以可靠和可信的方式开展工作。

首届AI安全峰会在2023年11月举办，汇集了全球领导人和技术专家，共同探讨如何安全地构建技术。尽管资助计划倾向于英国本土申请人，但ARIA在全球范围内寻找有兴趣来到英国的AI人才。此外，ARIA还有一套知识产权机制，允许海外营利性公司受益，并让版税返回英国。

Yoshua Bengio主导了《国际高级AI安全科学报告》，涉及全球30个国家及欧盟和联合国。他对该项目的兴趣在于其促进全球范围内AI安全的合作，以及他作为AI安全倡导者的角色，曾参与过警告超级智能AI可能带来的生存风险的影响力游说团体。

Bengio认为，通过这个项目，AI风险的讨论得以扩大至更广泛的全球参与者，使得实现AI安全的目标更进一步。