Large-Scale Adversarial Training for Vision-and-Language Representation Learning

该方法的核心部分有如下三点：

• 对抗的预训练和微调机制； 
• 在映射空间添加干扰；
• 增强的对抗训练方法；

1. 对抗预训练与微调：

Pre-training：

　　给定预训练数据集，包含 image-text pairs，训练的目标就是在这个大型数据集上学习一些与任务无关的特征。常用的预训练方法有三种：

• Masked language modeling 
• Masked region modeling 
• Image-Text matching 

Finetuning：

　　给定具体的任务和监督学习数据集，可以在上面预训练模型参数的基础上针对不同的任务进行微调。

Two-stage Adversarial Trainer: 

预训练和微调在本质上是紧密联系的。模型的训练需要掌握本质的推理技巧，从而促使模态融合，进行跨模态的联合理解。作者认为：

• 通过在 pre-training stage，执行对抗训练， 改善的泛化能力对微调阶段也是有益的；
• 在微调阶段，任务相关的微调信号变得可用，对抗微调可以用于进一步的改善性能。

由于 pre-training 和 finetuning 共享同一个数学表达式，同样的对抗算法可以在两个阶段都采用。

2. Perturbations in the Embedding Space: 

对于 image modality，由于最新的 V-L 模型通过将 pre-trained object detectors 作为输入，作者就直接在特征空间添加干扰。在预训练的 V+L model 中，位置映射是用于编码图像区域的位置和单词的索引。本文的方法仅仅改变了 image 和 word embedding 的映射，其他的多模态特征未变。此外，由于 image 和 text 模态的不同，作者仅对其中的一个模态添加扰动。这里加的扰动不能太大，否则会改变原始的语义信息，这是不能接受的。

3. “Free” Multimodal Adversarial Training: 

实验中用的总体损失函数为：

其中，第一项为交叉熵损失函数，第二个为 label-preserving AT loss，第三个是细粒度对抗正则化项。具体来说，AT 损失为：

其中，L 是对抗映射的 交叉熵损失。正则化项为：

这里是想使得原始特征 和 添加干扰后的特征，尽可能保持一致。总体算法流程见 Algorithm 1 

在各种主流 V-L 任务上，都取得了一定程度上的提升：