行人检测中的3D物理对抗样本生成方法

论文名称：Adversarial Texture for Fooling Person Detectors in the Physical World

作者单位：Zhanhao Hu / 清华大学

收录时间：2022 CVPR

文章亮点：提出了TC-EGA物理对抗样本生成方法，生成可以在多角度进行攻击的3D对抗纹理。并将生成的对抗纹理制作成衣服，成功欺骗行人检测模型。

Motivation

对抗纹理的多角度示意图

现有的用于行人检测攻击的2D对抗性纹理，只有在纹理正对摄像机的时候，攻击才有效。面对不同角度的拍摄时，攻击的纹理存在一定缺失，攻击效果也会被影响。（如上图中a和b子图所示）
将对抗纹理进行平铺可以一定程度缓解，但是不能完全解决对抗纹理在多角度下的攻击效果弱的问题。（如上图中c子图所示）
直接对人体建立3D模型生成3D对抗性纹理，但是由于人体并不是理想刚体，3D的纹理附着在人体时还会出现一定程度的形变。这种方法复杂且效果不好。

Methods

目标函数

假设对抗纹理$\widetilde{\tau}$服从$p_{adv}$分布，分布可用能量函数$U\left(\widetilde{\tau}\right)$表示： $p_{adv}\left(\widetilde{\tau}\right)=\frac{e^{-U\left(\widetilde{\tau}\right)}}{\int_{\widetilde{\tau}}{e^{-U\left(\widetilde{\tau}\right)}\mathrm{d} \widetilde{\tau}}}$ $z\sim\mathcal{N}\left(0,I\right)$

由于$\int_{\widetilde{\tau}}{e^{-U\left(\widetilde{\tau}\right)}\mathrm{d}\widetilde{\tau}}$的存在很难对$p_{adv}$分布进行计算，因此利用参数化的生成器$G_\varphi:\ z\rightarrow\widetilde{\tau}$去近似$p_{adv}$，通过控制参数生成不同的对抗纹理$\widetilde{\tau}$。其中z服从分布，将$q_\varphi\left(\widetilde{\tau}\right)$定义为对抗纹理$\widetilde{\tau}=G_\varphi\left(z\right)$的分布函数。$N$为样本的总数量。

Theorem 1:

最小化$\mathrm{KL}\left(q_\varphi\left(\widetilde{\tau}\right)

p_{adv}\left(\widetilde{\tau}\right)\right)$等价于$\min {\varphi, \omega} \mathrm{E}{\tilde{\tau} \sim \mathrm{q}{\varphi}(\tilde{\tau})}[\mathrm{U}(\tilde{\tau})]-\mathrm{I}{\varphi, \omega}^{\mathrm{JSD}}(\tilde{\tau}, \mathrm{z})$ 其中$I_{\varphi,\omega}^{\mathrm{JSD}}\left(\widetilde{\tau},z\right)=E_{\left(\widetilde{\tau},z\right)\sim q_\varphi^{\widetilde{\tau},\ z}}\left(\widetilde{\tau},z\right)\left[-sp\left(-T_\omega\left(\widetilde{\tau},z\right)\right)\right]-E_{\widetilde{\tau}\sim q_\varphi\left(\widetilde{\tau}\right),z^\prime\sim p_z\left(z^\prime\right)}\left[sp\left(T_\omega\left(\widetilde{\tau},z^\prime\right)\right)\right]$ $q_\varphi^{\widetilde{\tau},\ z}$为$\widetilde{\tau}$和$z$的联合分布，$sp\left(t\right)=\log{\left(1+e^t\right)}$，$T_\omega$通过神经网络表示的标量函数，需要$\widetilde{\tau}$和$z$进行优化。其中$\mathrm{E}{\tilde{\mathrm{\tau}} \sim \mathrm{q}{\varphi}(\tilde{\mathrm{\tau}})}[\mathrm{U}(\tilde{\mathrm{\tau}})]$被称为对抗目标函数，通过最小化$E\left[U\left(\widetilde{\tau}\right)\right]$生成有效的对抗纹理。$-I_{\varphi,\omega}^{\mathrm{JSD}}\left(\widetilde{\tau},z\right)$称为信息目标函数，通过最小化使得和之间的交互信息最大化。

对抗目标函数$\mathrm{E}{\tilde{\mathrm{\tau}} \sim \mathrm{q}{\varphi}(\tilde{\mathrm{\tau}})}[\mathrm{U}(\tilde{\mathrm{\tau}})]$

对抗目标函数即为能量函数的$U(·)$的期望值，这里的关键是找到一个合适能量函数去评估对抗纹理的效果，当对抗纹理攻击效果越好，能量函数的能量越低，说明目标检测模型的识别率越低。

$E\left[U\left(\widetilde{\tau}\right)\right]$可以通过多次采样 $z$生成 $\widetilde{\tau}$ 进行计算：

\[E_{\widetilde{\tau}\sim q_\varphi\left(\widetilde{\tau}\right)}\left[U\left(\widetilde{\tau}\right)\right]=\frac{1}{N}\sum_{i=1}^{N}\left[U\left(G_\varphi\left(z_i\right)\right)\right]\]

首先，引入了目标检测中预测框的置信度作为能量函数的一部分,并表述为$U_{obj}$。同时生成的对抗纹理会经过随机尺度、对比度、亮度和附加噪声等操作和随机角度旋转两种操作。我们将这两个组合操作定义为$M\left(x,\widetilde{\tau}\right)$。因此这一部分的能量函数可以表述为：$U_{\mathrm{obj}}=E_{x,M}\left[f\left(M\left(x,\widetilde{\tau}\right)\right)\right]$，其中$f$为目标检测模型输出的置信度。

其次再引入对抗纹理的差值总和作为能量函数的另外一部分，表述为$U_{TV}$ 。 $U_{TV}$的值越小，说明生成的对抗纹理越平滑。$U_{\mathrm{TV}}=\sum_{i,j}\left

\tau_{i,j}-\tau_{i+1,j}\right

+\left

\tau_{i,j}-\tau_{i,j+1}\right

$因此能量函数为：$U\left(\widetilde{\tau}\right)=\frac{1}{\beta}\left(U_{\mathrm{obj}}+\alpha U_{\mathrm{TV}}\right)$

对抗目标函数的计算方法示意图

信息目标函数$-I_{\varphi,\omega}^{\mathrm{JSD}}\left(\widetilde{\tau},z\right)$

信息目标函数的计算方法示意图

基于环形裁切的可拓展生成攻击

基于环形裁切的可拓展生成攻击（Toroidal-Cropping-based Expandable Generative Attack，TC-EGA）。TC-EGA是将对抗纹理从2D拓展成3D的方法。其中主要分为两步，第一步是训练一个全卷积神经网络从对抗纹理中采样分布，第二步时搜寻最有效的对抗纹理。

FCN来生成对抗贴图示意图

训练对抗纹理的生成器

利用FCN来生成对抗贴图，其中FCN中的padding均为0。

这样保证了生成的对抗纹理中的每一子块都存在对抗扰动性。同时由于FCN的卷积平移不变性，对抗纹理中的每一个小的对抗子图均共享相同的模型架构和参数。因此只需要训练一个小的生成器。

生成有效的对抗纹理

由于生成器可以控制变量生成不同的对抗纹理，由于纹理没有特定的形状，且需要足够大的输入才能生成很大的对抗纹理，因此直接生成足够大的对抗纹理十分困难。

因此作者采用了生成小的对抗纹理，再利用平铺生成足够大的对抗纹理的方法。

</div>

</div>

平铺生成对抗贴图

个人感悟

生成对抗纹理的目标函数十分值得借鉴。考虑到现实的物理攻击中摄像机参数这一不可忽视的因素，要让摄像机成功捕捉到对抗纹理并进行有效的攻击，这要求人为设计的对抗纹理不能模式不能过于复杂，具体的攻击纹理不能过于细微。本文作者提出目标函数所进行的限制确实能让生成的对抗纹理更加平滑简单。
同时利用平铺的方法将对抗纹理进行重复堆叠，解决了多角度下某些关键特征丢失的问题。

不同的对抗贴图对比图