图灵汇官网

在当今AI技术迅速发展的背景下，实时视频深度伪造（deepfake）技术已经成为一个日益严重的全球性问题，对个人、企业乃至政府构成了前所未有的安全威胁。

不久前，香港警方破获了一起利用AI技术实施的大规模诈骗案，犯罪分子利用AI换脸技术伪装成女性，在网上交友平台进行诈骗，涉案金额高达4600万美元。

这起案件揭示了deepfake技术在犯罪领域的滥用。诈骗团伙不仅使用AI生成的照片，还利用视频通话中的deepfake技术，将诈骗者伪装成迷人的女性，以此赢得受害者的信任。

随着deepfake技术的使用门槛不断降低，人们急需有效的检测手段。为了解决这一问题，一家名为Reality Defender的美国初创公司推出了一款AI检测工具，能够实时检测视频通话中的deepfake内容。

Reality Defender的产品经理克里斯托弗任（Christopher Ren）向媒体展示了这款AI检测工具的功能。他使用GitHub上的代码和一张照片，生成了一个深度伪造的埃隆·马斯克（Elon Musk）视频，并将其映射到自己的脸上。

在视频通话过程中，Reality Defender的定制模型会通过接收静态帧的方式来实时分析视频通话的画面。同时，通过屏幕上的小工具提醒用户，他们面对的可能是AI生成的deepfake视频，而非真实的马斯克。

Reality Defender的CEO兼联合创始人本·科尔曼（Ben Colman）表示：“我们预计在未来几个月内，deepfake视频和‘视频通话’欺诈将出现爆炸性增长。”他强调，在高风险的视频通话中，眼见未必为实。

在实际应用中，Reality Defender将检测工具整合进Zoom插件，实时预测视频通话中的其他参与者是否为真人或由AI扮演的冒牌货。目前，该公司正在进行基准测试，以确定该工具的最终准确性。

科尔曼表示，尽管公司专注于与商业和政府客户合作打击AI驱动的deepfake，但他们并不反对AI技术的广泛应用。“我们认为，AI在医学、生产力和创造力领域有着巨大的变革潜力，但在一些微不足道的应用场景中，风险却不成比例地高。”

除了Reality Defender，其他科技公司和研究人员也在探索应对这一特殊威胁的不同方法。例如，英特尔推出的深度伪造检测工具FakeCatcher通过分析面部血流变化来判断视频参与者是否真实。此外，美国纽约大学的计算机科学博士生戈文德·米塔尔（Govind Mittal）和他的团队提出了一种基于测试的方法，要求参与者在加入视频通话前通过视频验证码测试。

近期，联合国毒品和犯罪问题办公室发布的一份报告也强调，一些犯罪集团在技术方面取得了进展，特别提到deepfake技术在欺诈中的日益普遍使用。越来越多的deepfake诈骗案件表明，实时的deepfake目标已不再局限于亿万富翁和公众人物。

该机构在东南亚地区发现了一些向犯罪集团提供deepfake软件服务的账号，显示这项技术已被广泛使用。然而，开发有效的检测工具仍面临重大挑战。科尔曼表示，获取更多数据是当前的一大难题，这也是许多AI创业公司共同面临的困境。

他希望通过更多的合作伙伴关系来弥补这些不足，并暗示2025年可能会有新的合作项目。例如，在ElevenLabs被曝与美国总统拜登的deepfake语音通话有关后，这家AI音频初创公司与Reality Defender达成了合作意向，以减少潜在的滥用。

尽管技术解决方案正在不断发展，但专家们警告说，人们不应过分自信地认为自己能够识别视频深度伪造。科尔曼指出：“我不会要求我80岁的母亲学习如何识别钓鱼邮件，因为她年纪太大，而且不是计算机专家。”

他认为，未来如果AI检测技术继续改进并被证明可靠，实时视频检测可能会像电子邮件收件箱中的恶意软件扫描器一样普遍。然而，在这些技术尚不完善且未普及的当下，为了保护自己和家人免受视频通话诈骗的侵害，我们必须提高警惕，不要轻易相信视频通话中的内容，并始终提醒自己：眼见未必为实。