提出了一种利用图像转换，提高对抗训练对局部鲁棒特征的学习的方法

• 论文名称：《Robust Local Features For Improving The Generalization Of Adversarial Training》
• 作者单位：Chuanbiao Song / Huazhong University of Science and Technology
• 收录时间：2020 ICLR
• 文章亮点： 提出了一种利用图像转换方法，提高对抗训练对局部鲁棒特征的学习，提高对抗训练的模型鲁棒性和可迁移性。

Motivation

• 经过对抗训练的模型，在正对训练数据和测试数据之间的鲁棒性差距大。对抗训练的鲁棒性很难泛化到一些模型尚未见过的数据。

• (Geirhos et al., 2019; Zhang & Zhu, 2019)发现：对抗训练是训练模型捕获全局特征的能力，但是正常的训练更偏向于训练模型捕获局部特征的能力。全局结构特征对于对抗扰动具有较强的鲁棒性，但是对于没有见过样本很难泛化。局部特征对于不可见的样本泛化能力好，但是对与对抗性样本泛化能力差。
• 因此能否让对抗训练更好的学习鲁棒的局部特征，使模型有更好的对抗鲁棒泛化能力和更好的标准化泛化能力？
• 文章贡献：1) 第一个揭示了对抗训练和局部鲁棒特征关系的研究 2）提出了Robust Local Features for Adversarial Training (RLFAT)以学习局部鲁棒特征

RLFAT

• 提出了Random Block Shuffle (RBS)：一种简单明了的图像转换方法，将目标图像随机地分成k块，并随机地对这些块进行分离混合操作。该方法在某种程度上破坏了图像的全局结构特征并保留了图像的局部特征。

• 将RBS方法应用到对抗训练中去，且只针对对抗样本在训练阶段的使用，测试阶段不会使用。

Experiments

• Baselines：PGD Adversarial Training (PGDAT) and TRADES

• Adversarial setting：white-box attacks: PGD and CW；black-box attack setting：N-attack

• Datasets：CIFAR-10、CIFAR-100和STL-10

• Neural networks：ResNet 40-2、ResNet w32-10

• 实验结果：

• 局部鲁棒特征可以显著改善现有的对抗训练框架上的对抗鲁棒性泛化能力。