对抗性的攻击会破坏整个AI的，导致他们的智慧系统会受到攻击，用邪恶的方式劫持智慧系统。目前，有一些新兴的技术可以阻止这类攻击，这种攻击会对人工智能应用程序性能造成破会，是一种对人工智能潜在的的威胁。如果攻击者可以在图像、视频、语音和其他数据上引入几乎不可见的更改，以愚弄基于人工智能的分类工具，那么就很难相信这种复杂的技术(AI)能够有效地完成任务。

　　想象一下，如果这样的攻击会如何破坏通过人工智能为动力的自动车辆识别障碍的能力;内容过滤器在屏蔽干扰图像方面的有效性;或者访问系统阻止未授权进入的能力，后果会 如何?

　　一些人认为，敌对威胁源自于当今人工智能技术的“深层缺陷”事实上，，“深度学习”(也就是“依赖深度神经网络的机器学习”)也有着一项几乎是与生俱来的缺陷：这些复杂的人工神经网络，不仅让向其他人解释变得困难无比，就连学者本身也无法考证他所创造的系统，是如何得出这个结果的。

　　这是一个可怕的特点——“Uninterpretable”(难以言喻)。在学术界，这意味着人类无法知道机器给出这个结果的原因。

　　它有可能会让你在不知不觉间，失去“发现错误”的机会。

　　机器学习学者Rich Caruana描述的一个事件中，就出现了这样一个生死攸关的“错误”：

　　在匹兹堡大学的医疗中心里，有一个小组利用不同的机器学习技术预测肺炎患者是否会患上严重的并发症。这样一来，就能让有较低患上严重并发症的病人提早出院，来减少床位压力及医护人员的负担。

　　然而其中一种可以学习规则的机器学习系统输出了这样一条规则，让这个小组觉得很奇怪：让所有患有哮喘的肺炎患者出院。

　　为了解读这个奇怪的规则，他们查阅了医院规定，发现了这样一条：哮喘患者得了肺炎后很容易患上严重并发症，所以要尤其注意他们。这条规则在这医院执行的太好了，导致这些脆弱的病人实际上很少真正患上并发症。

　　这就是机器只看数据的局限性，“我们可能会不小心害死一些病人。”学者总结道。

　　这一次，他们用了多种方法，所以通过基于这种会输出规则的方法而发现了这一点。如果他们仅仅采用了人工神经网络的话，人们大概只能知道这一部分人被它标记“可以出院”，然后在一段时间后通过急剧升高的肺炎并发症数量而意识到这一切……

　　“人工智能只能分析数据，而数据建模与真实生活之间很难直接划上等号。”硅谷投资人郭威这样告诉记者。当然，这也许并不会是一个永远的缺陷。已经有学者在研究人工神经网络的“行为习惯”(对就是像研究野生动物一样)，希望能通过这个过程找到“解读”人工神经网络的方法。

　　同时，如今的深度学习技术还有另一个问题，它需要大量的数据作为训练基础，而训练所得的结果却难以应用到其他问题上。

　　很简单的例子，比如曾经虐翻中日韩围棋天才的AlphaGo，在跳棋赛场上可能就束手无策了……这也意味着花费了很大精力、数据来训练的模型，很难跨行业、甚至只是跨项目的应用。

　　毕竟，很多机器学习算法——甚至传统的逻辑回归分类——都很容易受到敌对攻击的影响。然而，您也可以很容易地认为，这个问题需要关注企业过程中的薄弱环节，用于构建、培训、部署和评估人工智能模型。

　　当然，这些问题不仅仅AI的问题，现在甚至有一场“Kaggle”的比赛，专注于对抗AI。的确，人工智能社区对于在深度神经网络中构建反对抗防御的最佳实践中缺乏明确的共识。但从我在研究文献和行业讨论中看到的，这种框架出现的核心方法已经在形成。

　　接下来，工智能开发人员将需要遵循这些指导方针，在他们的应用程序中构建反对抗保护措施:

　　假设对生AI各个系统中对抗攻击的可能性

　　随着AI系统被部署到各个领域，开发人员需要假设他们的应用程序将会备受瞩目，高调的出现在人们的视野，以此对抗操作攻击。

　　人工智能的存在是为了使认知、知觉以及其他行为自动化，如果它们产生了令人满意的结果，就可能会被人们认为是“智能”的。然而，人工智能的弱势在于可能会导致认知、知觉和其他令人吃惊的愚蠢行为，可能比任何正常的人类在这种情况下，所表现出来的都要糟糕得多。

　　在部署人工智能之前，先进行对抗风险评估

　　在AI应用的前期和整个生命周期中，开发人员应该坦率地评估他们的项目对抗对手攻击的脆弱性。如IEEE出版的2015年研究报告所述，开发人员应该权衡未经授权的方面可以直接访问AI项目的关键要素，包括神经网络架构，培训数据，超参数，学习方法和使用的损失函数。

　　另一种情况是，攻击者可能，能够从相同的源或分布中收集一个代理数据集，就像用于优化人工智能网络模型的训练数据一样。同时，这可以为对手提供深入的分析，让他们了解代用品的类型，哪类输入数据可能会欺骗以目标深度神经网络为基础的分类器模型。

　　在本文描述的另一种攻击方法中，即使对手缺乏对目标神经网络和相关训练数据的直接可见性，攻击者也可以利用战术，让他们观察到“输入和输出变化之间的关系...以自适应地对抗对手样本。”

　　在AI培训流程中生成对抗示例作为标准活动

　　人工智能开发人员应该沉浸在不断增长的研究中，在许多方面，微妙的对抗变化可能会被引入到卷积神经网络(CNNs)处理的图像中。

　　卷积神经网络是深度学习算法在图像处理领域的一个应用。“在机器学习中有个基本单位叫做感知器，具有分类的功能，可以理解成生物的神经元。当多个单元组合起来，并且具有分层结构时，就形成了神经网络。在处理一张图像时，如果对每个像素进行处理，神经网络就变得非常庞大，几乎无法进行训练和使用。要进行优化，可以让100个像素对应到一个神经元，这个对应过程就是卷积”，Camera360创新院高级研发工程师张靖淇向21世纪经济报道记者解释了“卷积神经网络”的由来。

　　这项人工智能领域的技术跟传统的滤镜采用的是不同的技术实现思路。传统的滤镜是做加法，把效果一层一层叠加上去，而Prisma、Poker 滤镜采用的是机器学习，开发者运用大数据技术，通过成千上万张图像的导入，训练一个“卷积神经网络”，来表示某种风格的转移过程。通过算法去学习图片的颜色、结构和纹理，最后实现的效果就像机器人模仿出来的一样。

　　有研发人员认为，从技术层面上看，使用深度学习的方式进行图像风格转换属于从0到1的创举。在张靖淇看来，图像处理和人工智能本就密不可分，现阶段的人工智能技术，最直接且成效显著的应用之一就是图像处理。要知道poker滤镜并不是第一次在产品中使用人工智能相关技术，拍照场景检测、照片分类、人脸及物体识别等等都是人工智能的应用。

　　数据科学家应该利用越来越多的开源工具，例如GitHub上的开源工具，用于产生对抗性示例来测试CNN和其他AI模型的脆弱性。 更广泛地说，开发人员应该考虑越来越多的基础研究，其重点是产生各种各样的生成对抗网络(GAN)的对抗示例，包括那些不直接关注抵御网络安全攻击的对抗性对抗网络。

　　近两年来学术界相继提出了条件生成对抗网络(CGAN)，信息生成对抗网络(InfoGAN)以及深度卷积生成对抗网络(DCGAN)等众多GAN的变种，GAN已经被引入到了各种以往深度神经网络的任务中，例如从分割图像恢复原图像(左上角第一对)，给黑白图片上色(右上角第一对)，根据纹理图上色(右下角第一对)，另外，GAN还可以做图像超分辨率，动态场景生成等。

　　仔细想来，这些任务，其实都是传统的深度神经网络可以做的，例如自编码器(AutoEncodor)和卷积反卷积架构可以做到的，我们不禁要想，GAN相比传统的深度神经网络，它的优势在哪里?前段时间，我也一直比较迷惑，中文能查到的资料，就是Ian Goodfellow在生成对抗网络(GAN)论文最后总结的几点，如下：

　　优点

　　· 模型只用到了反向传播，而不需要马尔科夫链;

　　· 训练时不需要对隐变量做推断;

　　· 理论上，只要是可微分函数都可以用于构建D和G，因为能够与深度神经网络结合做深度生成式模型;

　　· G的参数更新不是直接来自数据样本，而是使用来自D的反向传播(这也是与传统方法相比差别最大的一条吧)。

　　缺点

　　· 可解释性差,生成模型的分布 Pg(G)没有显式的表达。

　　· 比较难训练,D与G之间需要很好的同步,例如D更新k次而G更新一次。

　　依靠人类管理与对抗算法识别需要

　　对抗攻击的有效性取决于它是否能愚弄的AI应用的最后一道防线。对一幅图像的敌对操控可能是肉眼可见的，但仍然愚弄了美国有线新闻网对其进行分类。相反地，一个不同的操作对于人类管理者来说可能是太微妙了，但是一个训练有素的识别算法可以毫不费力地把它挑出来。

　　第二个问题的一个有希望的方法是具有GAN，其中对手模型改变输入图像中的每个数据点，从而尝试最大化分类错误，而反补贴鉴别器模型尝试最小化错误分类错误。

　　构建使用一系列AI算法来检测对抗示例的综合模型

　　一些算法可能比其他算法对对手篡改的图像和其他数据对象的存在更敏感。 例如，坎皮纳斯大学的研究人员发现了一种浅层分类算法可以比较深层CNN更好地检测对抗图像的场景。 他们还发现一些算法最适合于检测跨整个图像的操作，而其他算法可能更好地在图像的一个小部分中发现微妙的构造。

　　从这些攻击中免疫CNN的一种方法可能是增加康奈尔大学研究员ArildNøkland在AI模型的训练过程中称之为反对传播的权重的“对抗梯度”。 对于数据科学团队，在开发和生产环境中使用正在进行的A / B测试来测试不同算法的相对对手检测优势将是谨慎的。

　　重用反例防御知识，以提高人工智能抵御虚假输入示例的能力

　　正如IEEE在2016年发表的一篇研究论文中所指出的那样，数据科学家可以利用转移学习技术降低CNN或其他模型对输入图像的敌对改变的敏感度。传统的转移学习需要将现有模型中的统计知识应用到不同的模型中，本文讨论了如何通过对有效数据集的训练来获得模型现有的知识，这可能是“提炼”来发现对抗的变化。

　　根据作者的说法，“我们使用防御性的蒸馏法，在训练过程中，通过帮助模型在训练数据集外部的样本更好地推广，从而使模型在训练过程中得到了平滑的模型。”

　　其结果是，一个模型应该能够更好地识别出对抗的例子(那些与训练集相似的例子)和非敌对的例子之间的区别(那些可能偏离训练集的例子)。

　　如果没有这些实践作为他们的方法的标准部分，数据科学家可能会不经意地将自动算法的可居性融入到他们的神经网络中。当我们的生活越来越依赖人工智能在任何情况下都做聪明的事情时，这些敌对的弱点可能是灾难性的。这就是为什么数据科学家和人工智能开发人员需要制定适当的安全措施来管理人工智能应用程序的开发、培训和管理。

　　责任编辑：DJ编辑