机器学习对抗案例: 欺骗Google的图像识别算法

2018年，CES在美国拉斯维加斯举行，风起云涌的科技公司陆续派遣图像识别算法，在会场上展示其技术产品和各种智能算法. 近年来，人工智能浪潮继续席卷IT领域，各种技术巨头都喜欢自豪地宣布其算法如何完美识别图片. 但是，事实仍然可以证明图像识别算法的弱点，恶意攻击者可以利用该算法的弱点.

算法面临的幻觉和幻觉

早在2015年，谷歌，微软和中国百度就表示，他们的深度学习算法在基本功能上已经超越了人类，并实现了判断和识别.

2017年12月，Facebook继续宣布其面部识别算法已升级. 即使用户未标记照片（仅由他人拍摄），该算法也可以为您提供帮助. 发送照片提醒.

但是该算法不同于人类. 算法易受某些类型问题的影响，即存在“对抗性示例”. 一些攻击者会精心设计视觉伪影，以误导并诱使计算机做出错误的判断，或者失去判断的准确性，计算机可能会将熊猫的图片识别为长臂猿. 同样，这种欺诈方法不仅适用于计算机图像，而且适用于音频或文本. 因此，这也是算法可以看到的幻觉，或者算法可以听到的幻听.

熊猫仍然是长臂猿，这个错误似乎很底层. 但是如果攻击者可以使用相同的方法来控制自动驾驶汽车的AI系统，问题将变得更加棘手. 当应该限制速度时，如果攻击者可以成功使用自动驾驶算法，则可以尝试使系统出错. 实际上，这种情况已经发生，攻击者已开始利用算法弱点绕过垃圾邮件过滤等系统.

Google Cloud Vision API

根据麻省理工学院计算机科学与人工智能实验室12月发布的研究，这些对抗性例子比以前已知的要容易得多. 团队可靠地欺骗了Google的Cloud Vision API，这是一种已在现实世界中应用的机器学习算法.

以前的对抗案例都是在“白盒子”环境中设计和进行的. 计算机研究人员在了解了驱动算法执行的计算机的基本操作原理之后，可以进行有针对性的探索并了解如何进行. 你可以欺骗他们. 但是在这些情况下，由于攻击条件仍与实际环境相距甚远，因此该案并非进攻性的，也没有威胁.

麻省理工学院研究小组在11月发布的结果表明，他们成功地使InceptionV3图像分类器将3D打印的乌龟识别为步. 更有趣的是，它们还可以对3D乌龟进行一些调整，该3D乌龟可以是AI识别后的任何其他对象. 这是使用3D打印条件的对抗情况.

在麻省理工学院的最新研究结果中，他们的研究是在黑匣子条件下进行的. 他们不需事先了解目标算法的工作原理，就可以设计一种方法来快速获得黑匣子对抗案例，并将其应用于各种不同的图像算法，包括Google的CloudVision API. . 以Google为例，麻省理工学院的研究人员专注于识别不同图像的系统.

通过稍微调整照片中的像素，成像系统可以完全识别机关作为直升机的照片. 尽管在人眼中图像识别算法，这两个图像看起来完全相同. 但是人眼可以分辨出的这些差异会愚弄计算机设备. 他们使用常见的方法来制定对抗性. 他们将分析图像识别的结果，并朝其他结果的方向调整图像.

研究人员随机生成所需的标签. 在机的情况下，分类器中的“直升机”标签也可以更改为“羚羊”. 哪种类型的标签对它们没有影响. 研究可以证明的是，这种调整像素的方法可以毫无区别地取得任何效果.

麻省理工学院的研究结果证明，现在攻击者也可以使用此方法来创建对抗性.

图像分类标签混乱

Google的回应和算法的重任

Google通常被认为是世界上最好的安全团队之一，但是其最具有未来派产品智能算法仍然可以通过这种“幻想”来操纵，以确定最终结果. Google没有直接评论研究结果. 但是，在宣布研究结果后不久，Google似乎已经看到了当前算法中存在的问题，并且正在努力解决这些问题. 12月，他们还发布了一篇名为“ Adversarial Patch”的文章，以讨论相关攻击方法的策略研究.

没有网络分子的相关应用示例，但我们认为，在不久的将来，具有类似想法的攻击必将成为现实. 例如，黑客可以使用行李扫描算法将毛绒玩具识别为爆炸物. 或者，他们可以使用面部识别系统将无辜者识别为罪犯，并让真正的罪犯逃脱.

科幻小说中的指数算法

智能算法在当代生活中变得越来越重要. 他们负责在社交平台上过滤垃圾和无用的内容，驾驶无人驾驶汽车，并在第二天扫描行李中的武器和爆炸物.

但是，虽然我们赋予算法相关的执行和决策权，但我们也赋予算法相应的责任和信任权重. 对抗性的存在就像一条很小的但漂浮在网上的鱼. 揭示当前发展阶段的不足和局限性.

许多安全研究人员和机器学习专家正在将公司实践和学术研究成果相结合，以找到合适的解决方案，例如将恶意案例纳入神经网络训练中，以便新算法可以理解真实和恶意案例图像之间的差异；当然，这只是一个解决方案，其他研究人员也提出了新的勘探方向来解决该问题，但是还没有确切的答案，哪种方法有效，哪种方法无效.

参考资料和PDF如下

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-289533-1.html