图灵汇官网

图像识别系统有时会被轻易误导，而这种误导并不一定需要复杂算法的支持。只需简单地在图像的某些位置添加对象，就能达到目的。通常情况下，通过改变一些像素值，可以创建对抗性图像，使得目标识别系统产生错误。例如，一张小贴纸可以使香蕉图像被误认为是烤面包机，或者戴上特定的眼镜可以骗过面部识别系统。甚至，简单的乌龟图像也能被误认为是步枪，这说明了欺骗人工智能系统其实非常容易。

然而，约克大学和加拿大多伦多大学的研究人员发现，通过将某个对象的图像复制并粘贴到另一个图像的不同位置，同样能够误导神经网络，而不需要复杂的技巧。他们使用了TensorFlow物体识别API进行实验，这个API是一个由Google工程师开发的开源工具，用于图像识别任务。API基于TensorFlow代码构建，描述了卷积神经网络的结构。

在这个实验中，研究人员从一幅图像中提取一个对象，然后将其添加到另一幅图像的不同位置，再将这些图像输入到API中。这种方法被称为“对象移植”。例如，在一张男性坐在起居室里的图像中，他们添加了一张大象的图像。API会输出一系列彩色边界框，并计算不同目标识别结果的概率。在没有添加大象之前，模型准确地识别出了人、笔记本电脑、椅子、手提包、书籍和杯子。但当大象的图像被添加进去后，模型的识别效果开始出现问题。当大象被放置在红色窗帘上时，模型对椅子的识别率从81%降至76%，而对于杯子的识别率则从50%升至54%。更令人惊讶的是，当大象被直接放在人的头顶上时，它被误认为是椅子。此外，大象图像在图像中不同位置的识别结果也不一致，只在笔记本电脑和书柜顶部时被正确识别。

尽管如此，API在某些情况下仍然能够正确识别图像中的对象。这是因为大象与客厅中常见物品的组合非常罕见，神经网络在训练时没有遇到这种情况。因此，当面对这样的图像时，神经网络无法有效地处理。研究人员指出，要求不同类别的对象在训练集中成对出现是不现实的，无论是从实际应用还是理论角度来看。

此外，研究团队还发现，当复制图像中已存在的对象时，API的识别效果也会受到影响。例如，模型可以轻松识别出显示器前躺着的猫，但当在同一张图像中添加另一只猫的照片，并使其看起来像是第一只猫的背面时，模型将猫的脚掌误认为是狗，还将键盘的一角误认为是书。同样的现象在其他图像中也出现了，如牛头被误认为马，棒球棍被误认为笔记本电脑，手提包被误认为杯子。

论文指出，这种现象是由不属于目标区域的像素特征引起的，这些特征会干扰图像中物体的识别。这表明，所有图像分类模型都会受到局部遮挡的影响，即来自其他对象的像素可能会与目标对象重叠，从而导致混淆。研究人员称这种现象为“局部遮挡”，并认为解决这个问题将是实现模型泛化的关键。此外，这些生成的图像可以被视为对抗样本的一种变体，其中少量的干扰足以导致神经网络输出结果的巨大变化。