Li's Blog
0%

Improving the Transferability of Targeted Adversarial Examples through Object-Based Diverse Input

发表于 更新于 分类于 ， 阅读次数： Valine：
本文字数： 1.2k 阅读时长 ≈ 1 分钟

Improving the Transferability of Targeted Adversarial Examples through Object-Based Diverse Input (CVPR2022)

代码：https://github.com/dreamflake/ODI

解决的问题

本文要解决目标攻击迁移效果差的文体。数据增广是缓解迁移攻击对抗样本对源模型过拟合的一种方法，之前的工作使用简单的数据变换比如 resize ，限制了输入的多样性。本文的研究动机在于人类视觉在三维物体上的图像的卓越感知能力，如果一个图像足够清晰，人类可以在多个观察条件下识别物体内容，如果一个对抗样本对于目标网络看起来像目标类别，这个网络也同样将这个渲染成3D的物体识别为目标类。

贡献点：

  • 提出 object-based diverse input (ODI) 方法，首次将3D物体作为2D对抗样本优化过程中的画布
  • 攻击成功率和3D物体有关（例如枕头或者杯子），对源物体的集成可以提高迁移攻击成功率。
  • 对于 ImageNet 数据集，所提方法将平均攻击成功率由28.3%提高到47.0%
  • ODI 的方法对人脸验证任务同样有效

方法

本文提出一种ODI攻击，首先引入一个3D物体，将样本投影到它的表面，诱导这个渲染的物体在多种渲染环境下，例如不同光照和视角被分为目标类

本文 ODI 过程是可微的，包括三个步骤

  1. 准备一个3D对抗网络布。随机从目标物体池中挑选一个物体，所挑选的物体有一个三角形网布，一个纹理图，一个边框，这个边框代表画布区域，对抗样本将会画在纹理图上。将纹理图用随机纯色填充，对抗样本 resize 后插入纹理图边框区域。

  2. 渲染环境设置。包括光照和相机设置。对于相机，固定内参，调整外参，相机角度有三种：elevation, azimuth, 和 tilt。3D 网布大小初始化，投影的图像可以占据它85%的空间。相机角度和距离在一个预设的区间内随机采样。

    本文选取了 point lights 这个照明模型，但是 directional lights 模型也可以使用。亮度和散射条件在一个预设的区间内随机采样。同样光照位置在基准位置随机添加位移。

  3. 渲染和与背景混合。在采样环境中渲染对抗三维网格，并将其与随机生成的背景图像混合，以创建最终的输出图像。

ODI 的方法可以和 TI，MI，SI 等方法结合。算法流程图如下

实验结果

这里贴一个实验结果，更多实验见原文

主要的实验设定和[1]相同，在一定范围内角度，距离和背景图可以提高攻击成功率。

总结

ODI-MI-TI-VT 可以实现SOTA，但是处理单张图像耗时我觉得有点无法接受。。。同样相机参数设置也对实验结果有一定影响。

[1] Zhengyu Zhao, Zhuoran Liu, and Martha Larson. On success and simplicity: A second look at transferable targeted attacks. In Advances in Neural Information Processing Systems, 2021.