### 论文名称： Fooling automated surveillance cameras: adversarial patches to attack person detection ### 论文简介： 随着卷积神经网络的普及，对CNN的对抗性攻击在过去几年中越来越流行。该项目首先讨论分类器上的数字攻击，然后讨论人脸识别和目标检测的现实世界攻击。 经过实际验证发现，生成的补丁 (patch)能够成功地将人在检测器视线中隐藏起来。例如，这种攻击可能被恶意地用来绕过监视系统，入侵者只要将一小块硬纸板放在身体前面，面向监视摄像头，就能不被监视系统发现。这项研究在YOLO (v2) 的开源目标检测系统上进行了演示。 Arxiv论文：papers/1904.08653/ Gitlab代码：EAVISE/adversarial-yolo ### 优化目标 Lnps：非可打印性得分，这个因子表示贴纸中的颜色在多大程度上可由普通打印机打印出来。有下式：  其中 Ppatch 是贴纸中的一个像素，而 Cprint 是一组可打印颜色 C 中的颜色。这种损失有利于确保图像中的颜色与可打印颜色集中的颜色密切相关。 Ltv：图像总变化。该损失函数损失确保优化器支持平滑颜色过渡的图像并防止图像噪声。可以由 P 计算 Ltv：  如果相邻像素相似则得分较低，如果相邻像素不同则得分较高。 Lobj：图像中的最大对象分数。补丁的目标是隐藏图像中的人。所以训练的目标是对探测器输出的目标或类别分数实现最小化。将这三个部分相加得到总损失函数：  采用由经验确定的参数 α 和 β 对三个部分进行按比例缩放，然后求和，并使用 Adam 算法进行优化。优化器的目标是总损失 L 的最小化。在优化过程中冻结网络中的所有权重，并仅更改 patch 中的值。在过程开始时，以随机值对 patch 进行初始化。  上图为adv patch的生成过程 YOLOv2 对象检测器输出一个单元网格，每个单元格包含一系列锚点（默认值为五个）。每个锚点包含边界框的位置、对象概率和类别得分。为了让探测器忽略图像中的人，研究人员尝试了三种不同的方法：最小化类人的分类概率（图 d），最小化对象得分（图 c），或两者的组合（图 b 和 a）。 研究人员分别尝试了每一种方法。最小化类分数倾向于将类中的人员移至不同的类。在使用 MS COCO 数据集训练的 YOLO 探测器的实验中，研究人员发现生成的贴纸会作为 COCO 数据集中的另一个类被检测到。图 a 和 b 分别为采用类和对象概率的实例。 研究人员提出的最小化对象性得分的另一种方法则不存在这个问题。虽然在优化过程中仅仅将其其置于 “人” 这一类别之上，但是生成的贴纸对于某个类的特定性低于其他方法，如图 c 所示。  研究团队对各种类型的 patch 进行了实验，比如随机生成的图像噪声或者模糊化的图像，最后，他们发现经过多次图像处理的随机物体的照片的效果最好。例如，他们提出的图像补丁 (图 c) 是通过随机选取一幅图像来创建的，图像经过了旋转，随机放大和缩小，随机添加随机噪声，随机修改正确率和对比度。 ### 实验结果：显著降低警报，安全摄像头还安全吗？ 通过实验结果评估 patch 的有效性。过程与训练过程相同（包括随机变换），将结果应用于 Inria 测试集上来进行评估。 换句话说，研究人员提出一个问题：监控系统产生的警报，有多少可以通过使用贴纸来规避？  上表所示为使用不同贴纸的警报触发分析结果。可以清楚地看到，贴纸（OBJ-CLS，OBJ 和 CLS）显著降低了警报数量。  上图所示为在 Inria 测试集中使用不同贴纸的效果对比示例。首先将 YOLOv2 检测器用于没有贴 patch 的图像中（第 1 行），然后是使用随机贴纸（第 2 行）以及生成的最佳贴纸的效果（第 3 行）。在大多数情况下，贴纸能够成功地将人员隐藏在探测器中。如果效果不好，则可能是贴纸没有和人对齐。因为在优化期间，贴纸的中心对齐是仅仅由图像边框确定的。  上图测试了印刷版贴纸在现实世界中的效果。一般情况下，效果还是不错的。由于上文所述的图像训练对齐的原因，将贴纸保持在正确位置似乎是非常重要的。 结果生成的 “补丁”，可以应用在衣服、包或其他物体上，佩戴这种 “补丁” 的人将成为隐形人—— 使用 AI 检测算法无法检测到。 这种方法也可以用来隐藏某些对象。例如，如果监视系统被设计为检测物体而不是人，那么 “补丁” 也可以将汽车之类的物体隐藏起来。 ### 想法 自己在把该论文方法迁移到yolov4上，针对天池目标检测攻击进行优化目标的修改时发现实验效果不太好，不清楚是不是具体实现的时候哪里有问题； 在yolov2复现该论文时结果与论文基本一致