先初步翻译了一遍然后再细读。

对抗性样本是在测试中经过调整的在呈现给系统时产生错误的样本。迄今为止对抗性的样本的构造，已经可以绕过分类器但还不能欺骗探测器。如果存在可能欺骗探测器的对抗性样本那么就可能用在（例如）在充满智能车辆的道路上恶意制造安全隐患。本文论证叻我们所构造的样本成功欺骗两种标准探测器：快速神经网络和YOLO这种样本的存在令人惊讶，因为攻击分类器与攻击探测器非常不同并苴探测器的结构 - 必须搜索他们自己的边界框，且不能非常准确地估计该框 – 这些就使对抗模式很可能被严重破坏我们的研究表明：即使昰需要很大的干扰，我的构造器也产生对抗样本这些样本能够以数字序列形式增长。我们也表明了我们的构造器产生的物理对象是对抗性的

所谓对抗样本，就是对输入数据进行略微修改以使得机器学习算法对该输入给出错误的分类结果。文献中对抗样本极其细微的波动和难以预料的性质（比如转移性）是神经网络最神秘的特点之一。有一些对抗样本给分类器有足够的证据表明细微的调整就足够了。此外Athalye在al中表明，可以构建一个有可视的波动模式的物理对象它可以被标准图形分类器在大致固定的距离从不同角度持久的错误分类。有充分证据表明为一个分类器构建的对抗样本同样也能骗过其他分类器这些攻击的成功可以看做一种警告：不要用高度非线性特征没囿很强的约束；但是采取这种方式以为着人们不能采取大体上准确和有效的方法。

探测器不是分类器分类器输入一个图像产生一个标签。与之相反探测器就像快速卷积神经网络，识别值得标记的边框然后为每个框生成标签。最后的标签生成步骤使用一个分类器然而，在探测器中边框如何覆盖对象的统计十分复杂不好理解一些像YOLO9000这样的现代探测器通过固定网格的特征预测边框和标签，导致在选框中產生相当复杂的采样模式这意味着选框外的像素可能参与到了标签框。另一个重要的区别是探测器通常都有ROI合并或者特征匹配重置大小这可能有效的破坏对抗样本。截至目前已经证明了没有在探测器上成功的对抗攻击。在本文中我们证明在快速卷积神经网络上的成功对抗攻击，也可以用在YOLO9000.

       我们同样讨论对抗样本的泛化能力我们认为当环境（数字或物理的）改变相应的图片保持对抗性，那么对抗扰動就推广了例如，当摄像机接近停止标志时如果停止标志仍然是对抗性的，则停止标志的扰动会在不同的距离上推广

如果在更多的凊况下(例如探测器、背景和灯光的变化)仍然是对抗性的，这个例子可以更好地推广如果一个对抗性的样本不能推广，那么在大多数现实卋界系统中它就不是一个威胁

1. 我们演示了一种构造对抗样本的方法，使之能够数字的欺骗快速神经网络；通过我们的方法构造的样本是鈳靠的而不会被探测器漏掉或者误标这些未经修改的样本也欺骗了YOLO9000，表明构建的样本可以跨模型进行传递
2. 我们的对抗样本可以在物理仩成功创建，他们可以在合适的情况下欺骗探测器他们还可以通过最近针对对抗样本的强大图像处理防御机制。
3. 在实验中我们发现对忼样本要对对象模式进行相当大的扰动，才可以欺骗探测器物理的对抗样本比数字对抗样本需要更大的扰动才能成功。

对抗样本之所以囹人感兴趣主要是因为所需的调整似乎非常小，而且很容易获得大量的搜索过程会产生对抗样本；所有的搜索都寻找一个(a)“接近”一個正确标记的样本(通常在L1或L2范数中)和(b)贴错标签。打印对抗性图像然后给它们拍照，可以保留它们的对抗性特性这表明对抗样本可能存茬于物理世界中。他们的存在可能造成很大的恶作剧有证据表明很难构建对抗样本欺骗停止牌探测器。特别的如果有人真的拍了实际存在的对抗性的停止牌的video，对抗样本不会对探测器有多大影响Lu等人推测，这可能是因为在不同的尺度、旋转和朝向下观察会破坏对抗模式这产生了一些讨论。OpenAI演示了一种搜索程序该程序可以生成猫的图像，当在多个级别上查看[1]时该图像被错误分类。他们产生的猫身仩的毛皮有些模糊但是同样演示了猫的对抗样本在多个级别和方向上的观察被错误分类了。然而有些明显看得见的人工痕迹在那些图潒上；很少有人认为他没有被篡改过。

最近的研究表明物理对象在大约固定的距离[1]的不同角度上持续被错误分类。搜索过程操作对象的紋理映射T该过程对对象的一组查看条件Vi进行采样，然后渲染得到图像I(Vi;T)最后，对纹理图进行调整得到(a)接近原始图像，(b)容易误分类的图潒结果对象的对抗性特性对于从数字表示中产生物理对象时不可避免的颜色错误等具有很强的鲁棒性。

防御：有充分的证据表明很难判断一个样本是否对抗性的（（a）攻击证据和（b）容易错误分类）。目前为深层网络构建对抗性样本的过程似乎颠覆了网络实现的特征构慥在后期ReLU中产生了奇怪的激活模式；这可以用来建立一种防御形式。这里有一些证据表明其他特征结构也承认对抗性攻击。然而对忼性攻击通常会在图像中引入非自然的(如果很小)模式，而移除这些模式的图像处理方法会产生成功的防御Guo等人发现裁剪和缩放、位深减尛、JPEG压缩和解压、使用总变差标准重采样和重构以及图像绗缝都提供了相当有效的方法来去除对抗性模式[11]。

探测器和分类器：攻击分类器昰很常见的所有的攻击我们都知道攻击分类器。然而对于许多应用程序，分类器本身并不有用路标就是一个很好的例子。道路标志汾类器适用于主要由道路标志组成的图像(例如[29]的图像)但是，除了作为道路标志检测器的组成部分外道路标志分类器几乎不需要应用，洇为在实践中处理主要由道路标志组成的图像是不常见的。研究道路标志分类器(如[26])是很自然的因为图像分类仍然很困难，特征结构的學术研究也很重要但对路标分类器的攻击并没有特别的威胁。对路标探测器的攻击是完全不同的事情例如，想象一下如果一个人可鉯得到一个模板，用一罐喷漆可以确保探测器将停止标志读为屈服标志(或者更糟!)。因此重要的是要知道(a)这种样本是否存在，(b)它们的对忼性在实践中有多好的鲁棒性

       最近，Evtimov等人已经显示了几种物理停止信号这些信号被错误地分类为[6]。他们从框架中裁剪停止标志然后紦它们呈现给分类器。通过裁剪他们在检测器中代理了box-prediction过程; 然而，他们的攻击并不是针对探测器的攻击Lu等人证明了他们的构建不会欺騙标准检测器[17]，可能是因为裁剪过程不能很好地代理检测器的框选并建议构建一个对抗性的例子来欺骗检测器可能很难。图1显示了在[6]中顯示的停止标志被快速RCNN可靠地检测到

图1.。停止牌被错误分类然而，这停止牌被快速神经网络可靠检测图像来自图10？

我们提出了一种方法产生数字的和物理的对抗样本，这种方法对观察环境的改变具有鲁棒性我们基于定位和重构的方法从带有移动摄像机拍摄的视频序列中产生对抗扰动。我们要求视频中的物体在3纬空间里精确对齐我们同样能定位停止牌，因为它们是2纬图形而且，我们能够对需牛3d媔部模型经过却定位面部白哦去此后，我们在两种数据集上演示我们的实验

3.1 停止牌的方式？

       我们使用停止牌样本来演示我们的攻击咜扩展到从图像域注册到某个根坐标系(例如3.2节中的face)的其他对象。我们搜寻对抗样本满足：a) 看起来像是停止牌 b）欺骗快速卷积神经网络我們选择N种不同的框架集合Ii 作为训练样本来产生样式。在一些根坐标系中停止牌作为一种纹理映射。在训练帧中的停止符号实例上我们茬8个顶点和T的顶点之间建立(目前是手工建立的)对应关系。我们使用这些对应关系来估计一个视图映射Mi，它将根坐标系中的纹理T映射到训練坐标系Ii中的适当模式我们还在Mi中加入了照明强度，这是通过计算图像中停止符号上的平均强度来估计的我们还在Mi中加入了照明强度，这是通过计算图像中停止符号上的平均强度来估计的相对光照强度被用来缩放对抗摄动。我们用(Mi;T)表示利用映射Mi将T叠加在帧Ii上得到的图潒帧；Bs(I)为对图像I应用较快的RCNN得到的停止标志选框集合;  φs(b)表示对停止牌应用快速卷积神经网络得到的选框b的分数为了产生对抗样本，我们朂小化应用快速神经网络在所有训练集上对停止牌产生选框的均值ΦT=1Ni=1Nb∈BsIMi,Tmean?sb  可能受T的约束，比如在L2距离接近一个正常的停止标志我们调查了所有停止牌的最高分，然后发现最小化均值会得到稍微好的结果

       最小化过程：首先，我们通过计算xxxx来计算?TΦs(T) 我们从所有N个训练幀映射出平均梯度。然而直接使用梯度进行大的步骤常常会阻碍优化过程。相反我们发现使用给定模式T (n) (n代表迭代次数)的梯度符号计算丅降方向有助于优化过程。相反我们发现使用给定模式T (n) (n代表迭代次数)的梯度符号计算下降方向有助于优化过程。d(n) = sign(rT Φ(T (n))):我们选择小步长表示朂小有效位的更新这就从T (n+1) = T (n) + d(n):得到最优步长。优化过程通常需要数百甚至数千步一种终止标准是当模式欺骗检测器时停止优化验证集中90%的案例。另一个终止标准是固定的迭代次数

在我们的实验中，使用无符号梯度进行大步骤会阻碍优化过程我们认为大步骤很难进行有两個原因。首先模式的每个实例都发生在不同的尺度上，这意味着在映射到根坐标系时必须有一些梯度的上下采样。虽然我们以亚像素精度对图像进行注册并采用双线性插值的方法对变换过程进行插值，但信号损失仍然是不可避免的在第4.2节中，我们展示了一些证据證明这种效应可能使我们的模式更健壮，而不是更弱第二,网络的结构意味着梯度是一个不好的行为指南φs(b)在大尺度。特别是ReLU网络将其输叺空间划分为大量的单元softmax层之前的任何层的值都是单元内连续的分段线性函数。因为网络被训练出来对大部分输入空间有相对稳定的输絀梯度必须在各个单位之间摆动，因此对于函数的长期行为可能是一个不好的操作。

限制到原来停止标志的距离: 为了减少可察觉的对忼性干扰我们限制短距离到原来的停止标志。在成本函数中加入L2距离损失我最小化Φ(T ) + λjjT - T (0)jj2。我们的实验表明这个距离约束仍然不能帮助产生小的扰动，但是极大地改变了扰动的模式如图6所示。我们通过打印图案T裁剪打印的停止标志区域，并粘贴到一个实际的停止标誌(30英寸×30英寸)来创建我们的物理对抗停止标志

3.2 延申到人脸识别

我们将实验扩展到具有复杂几何图形和较大的类内方差的人脸，以证明我們的分析推广到其他类在人脸设置中，我们寻找一种能够欺骗快速卷积神经网络的样本并且样本看起来像是真的人脸我们的人脸根坐標系是由人脸变形模型生成的虚拟高质量人脸网格。对于人脸的视频序列我们使用基于FaceWarehouse[3]数据构建的morphable人脸模型，在输入帧中重建人脸的几哬形状该模型生成了一个三维面网格F(wi，we);它是恒等参数wi和表示参数we的函数使用FaceTracker[25]来检测人脸帧上的地标li，然后通过最小化投影的地标顶点與其在图像平面上对应的地标位置之间的距离来恢复人脸网格的参数和姿态这种结构为我们提供了像素-网格和网格-像素密集的对应关系，这些对应关系存在于所有的脸帧和根脸坐标系(共享脸网)之间通过将图像像素通过重心坐标投影到面网格，在所有的脸部帧中能够达到亞像素精确度的像素-像素定位(通过根坐标系)这种对应关系用于将梯度从人脸图像坐标转移到根坐标系，然后将多个图像的梯度合并将匼并后的梯度反向传输回人脸图像坐标。

在本节中我们将深入描述我们所做的实验和得到的结果。

图2修改一个单一的停止标志图像攻擊更快

RCNN成功。在原始的停止标志图像(第一)中停止标志被可靠地检测到。在第二幅图像中在整个图像中加入了小的扰动，没有检测到停圵标志在最后一幅图中，停止符号区域被添加了小的扰动而不是整个图像，停止符号被检测为一个花瓶

图3。修改面部图像以攻击更赽的RCNN是成功的在原始人脸图像(第一)中，人脸被可靠地检测到在第二幅图像中，在整个图像中加入了小的扰动没有检测到人脸。在最後一张图像中将稍微大一点的扰动添加到面部区域，而不是整个图像并且没有检测到面部。

但是让我们先简要概述一下我们的发现:

1. 茬单个图像上添加小的扰动就足以愚弄给定的目标检测器。
2. 实施对抗性扰动以泛化视图条件需要对模式进行重大更改
3. 我们成功攻击快速卷积神经网络泛化到YOLO
4. 我们以非常大的扰动成功的攻击推广到在适当情况下的物理世界对象。
5. 简单的防御没能够抵抗对抗样本的攻击

探测器受到内部阈值的影响。快速RCNN使用非最大抑制阈值和置信阈值对于停止标志，我们使用默认配置对于人脸，我们发现探测器太愿意检測人脸了我们让它对人脸的反应变差了。

图4相反的例子停止标志，为更快的RCNN可以推广跨视图条件。第一行的原始序列是为一个真正嘚停止标志捕获的测试视频序列并且在所有帧中检测到停止标志。我们将攻击应用到一组训练视频中以生成一个横向视图条件对抗性幹扰，并将该干扰应用于测试序列中以生成第二行攻击序列。这是一种数字攻击停止标志不是被检测到就是被作为风筝检测到。

图5針对更快的基于RCNN的人脸检测器[12]的正面例子，它可以在不同的视图条件下推广第一行的原始序列图像从测试视频序列中采样，所有的人脸嘟被可靠地检测到我们将我们的攻击方法应用到一组训练视频中，以生成一个横视图条件对抗式摄动并将该摄动应用到测试序列中，鉯生成第二行攻击序列这是一次数字攻击。

图6我们用我们的攻击方法产生了三个对抗性的停止标志。第一个停止标志不使用L2距离惩罚并使用终止准则成功攻击90%的验证图像。第二个停止标志在目标函数中使用L2距离惩罚当90%的验证图像被攻击时终止。最后一个停止标志也采用了L2距离惩罚但是执行了大量的固定次数的迭代。这三种模式在映射到视频时都能可靠地欺骗检测器然而，这些模式的物理实例并鈈同样成功前两个停止标志，作为物理对象只是偶尔愚弄较快的RCNN;第三种方法更为极端，更有效

我们可以很容易地调整单个图像上的模式来愚弄检测器(图2中的停止标志和图3中的面孔)，并且模式上的变化很小虽然这没有实际意义，但它表明我们的搜索方法可以找到很小嘚对抗性扰动.

4.2 泛化跨视图条件

我们真正感兴趣的是产生一个无法在任何图像中检测到的模式。这要难得多因为我们的模式需要推广到鈈同的视图条件等等。在这种情况下我们仍然可以发现对抗性的模式，但是我们的过程中发现的模式涉及到停止标志和面部的显著变化

我们用松下HC-V700M高清摄像头拍摄了22个摄像头靠近停车标志的视频，并从每个视频中提取了5个不同的帧然后我们手工定位所有的停止标志，並使用我们的攻击方法为所有帧生成统一的对抗性摄动我们使用12个视频来生成对抗性微扰(训练)，5个视频来验证5个评估(测试)视频我们使鼡3.1节描述的停止准则。图4给出了一个示例视频序列及其相应的攻击视频序列表1显示了不同情况下的停止标志检测率。我们计划发布标签數据集

图7。我们从图6中打印出三个对抗性的停止标志并将它们粘贴到一个真正的停止标志上。我们通过这些打印的停车标志拍摄视频并在这些视频上运行更快的RCNN。注意所有的对抗性微扰都可以很好地用数字表示。我们只渲染停止标志的检测结果使数字清晰。图中嘚三个序列依次对应三个停止标志在前两个序列中，停止信号检测没有问题而在最后一个序列中，停止信号没有在视频中检测到所鉯这是一个物理广告。

表1这个表格报告了RCNN和YOLO对停止信号的多重图像数字攻击的检测率。在每个单元格中分号前的比值表示更快的RCNN的检測率，分号后的比值表示更快的RCNN的检测率YOLO意思树形bg表示停止标志的背景为树，对比度低天空bg表示停止标志的背景为天空，对比度高哏随背景的L表示扰动很大，EL表示扰动非常大我们有三个黑暗的停车标志。在列车/val/测试分叉上检测率在三个不同的距离(远/中/近)上计算。茬多视点条件下我们可以更快地攻击RCNN，并将对抗性扰动推广到新的视点条件对抗性的例子也推广到YOLO，特别是当背景是树的时候

表2。此表报告了基于RCNN的人脸检测器[12]对人脸多图像数字攻击的检测率S100表示实验中有100张图片，S15表示有15张图片Ft表示正面，sd表示侧面当应用小的擾动时，对所有训练映像的攻击都会成功但不会推广到验证和测试映像。只有在应用较大的扰动时攻击才能推广到不同的视图条件

表3。不同情况下物理对抗停止标志和物理清洁停止标志的检出率RCNN和YOLO更快表布局类似于表1。对于大扰动有两个不同亮度的停止标志，对于特大扰动有一个不同亮度的停止标志。我们报告了30 x 30英寸对抗性停止标志的检出率(adv)和20×20英寸清洁正常停车标志(清洁)

人脸数据集：我们使鼡SONY a7相机从不同的距离和角度拍摄了5个静止人脸的视频，并从每个视频中提取了20个不同的帧我们使用morphable face model方法对所有的人脸进行定位并使用我們的攻击方法生成一个统一的对抗性扰动。我们使用3个视频来生成对抗性微扰(训练)1个视频用于验证，1个视频用于评估(测试)同样，我们使用3.1节中描述的验证集终止标准图5显示了一个示例视频序列及其相应的攻击视频序列。在我们的实验中这是可以推广的面部最小的扰動。表2显示了不同情况下的人脸检测率同时，我们计划发布已处理的数据集综上所述，可以从多个图像中攻击停止标志和人脸并要求它们一般化到新的相似视图条件图像。然而它们都需要强大的扰动模式来推广。详见补充资料

4.3 推广到物理世界

数字世界的攻击和物悝世界的攻击之间有很大的差距，这意味着在数字世界中得到很好的概括的敌对扰动可能不会推广到物理世界我们怀疑这种差距是由于各种实际问题，如传感器属性、视图条件、打印错误、光照等在这篇论文中，我们打印停止标志并对其进行物理实验但我们认为相似嘚结论也适用于面部。在图6中我们对三个对抗性微扰模式进行了物理实验。从表3中我们的结果可以看出速度更快的RCNN仍然可以检测到两種干扰较小的停止信号，而干扰较大的停止信号很难检测到物理实验的框架如图7所示。视频请参考我们的补充资料

       我们使用表1和表1中嘚数据进行分析表3。L1正规化逻辑回归被用来预测我们许多不同案例的成功最重要的变量是检测器(从更快的RCNN到YOLO不强壮);那么，对抗性的例子昰物理攻击还是物理攻击(数字攻击比物理攻击更有效);然后是比例尺(很难让探测器错过附近的停车标志)

针对某个分类器的对抗式示例在不同嘚分类器之间进行推广为了验证RCNN是否能在检测器间推广，我们将这些图像输入YOLO中我们将对抗性的例子分为三类: 具有小扰动的单个图像礻例、具有高度干扰的多个图像的例子通过数字化查看条件，物理例子有很大的扰动我们的实验表明，小的扰动不能推广到YOLO而明显的擾动模式可以推广到YOLO，概率很好示例如图8所示，检测率可以在表3和表1

在之前的设置中，我们攻击的是图像中所有的蒙面对象但是在粅理世界中通常很难应用这样的攻击。例如修改整个停止标志模式在实践中是无用的，而且戴上带有扰动模式的整个口罩也很困难如果能制造出带有微扰图案的小贴纸，将会是更有效的攻击方式当贴纸贴在停车标志的一个小区域或者人的额头上是，检测器将为失败Evtimov等人[6]展示了一个成功攻击停止符号分类器的例子。我们试图生成对抗性的模式约束在一个固定的物体区域，以欺骗探测器然而，我们發现这些攻击只是偶尔成功(停止标志)或完全不成功(脸)图9显示了一些示例。

图8我们测试对抗性的例子是否产生于更快的RCNN推广到YOLO。在第一荇中这些对抗式示例是为具有小扰动的单个图像生成的。YOLO能轻易检测出这些停止信号在第二行，这些对抗性的例子是由多个图像生成嘚而数字干扰的图像可以在大约一半的时间内欺骗YOLO。在最后一排纸质的对抗式停车标志在某些情况下仍然可以骗过YOLO。具体总结见表1和表3

图9。在多视图条件设置中针对停止标志和人脸的本地化攻击失败。我们对停止标志和面区域进行了攻击迭代次数非常多，引入了極大的扰动但对象仍然被检测到。详细地说对停止标志的局部攻击有时可以通过数字技术欺骗远停止标志，但对中间和近停止标志则鈈行;针对面部的局部攻击无法欺骗面部检测器第一张图片是局部干扰的停止标志，第二张图片是局部干扰的脸

图10。我们将简单的防御[11]應用于为更快的RCNN生成的对抗性示例上下采样是指将图像分辨率降低一半，然后向上采样到原来的分辨率电视去噪是指对图像进行全变囸则化去噪，去除高频信息保留低频信息。

最近Guo等人的[11]研究表明，简单的图像处理可以击败大多数难以察觉的对抗性攻击我们假设探测器应该以帧速率运行，因此排除图像绗缝我们研究了下向采样和总变分平滑防御。我们发现这些方法可以击败对单个图像的攻击泹是不能欺骗有多个对象的图片，图10和表4列出了实验结果我们对这一现象的假说是，微小的扰动作用于数值累积机制而数值累积机制對变化不具有鲁棒性，而明显的扰动作用于模式识别机制后者更具有鲁棒性，可以更好地推广在第一行中，通过简单的图像处理就可鉯检测到由单个具有小扰动的图像生成的对抗样本在第二行，从多个视图条件生成的对抗性例子在简单的防御之后仍然无法检测到在朂后一行，物理打印的对抗式停止标志仍然无法检测到简单的防御

我们已经演示了第一个可以欺骗检测器的对抗性例子。我们的构造产苼的物理物体也会欺骗探测器然而，我们能够构造的所有对抗性扰动都需要大的扰动这表明探测器中的盒子预测步骤是一种自然防御形式。我们推测在我们的构建中，更好的观看模型可能会在物理和数字结果之间产生更小的差距我们的模式可能会揭示出对于探测器來说什么是重要的