腾讯AI 2020 去雨/对抗攻击 论文

去雨网络

当前基于视觉的自动驾驶技术在标准场景中已有相当好的表现，但下雨天了怎么办？雨水可能会遮挡视线，造成系统误判。这时候，消除雨水对视野场景中信息的影响就非常重要了。腾讯 AI Lab 的 ECCV 2020 入选论文中有 2 篇研究了基于神经网络的去雨技术。

1. 超越单目去雨：基于语义理解的双目去雨网络

Beyond Monocular Deraining: Stereo Image Deraining via Semantic Understanding

本文由腾讯 AI Lab、澳大利亚国立大学、中科院信工所与阿布扎比人工智能研究院合作完成，提出了一种可基于双目图像消除场景中雨滴对信息的影响的方法。

雨滴能影响图片的背景信息，降低图片的质量，进而影响现有的基于视觉的智能系统的性能。现在，很多在自动驾驶领域使用的方法都是基于双目图片的，然而却很少有基于双目图片的去雨方法。同时，现有的单目去雨方法也没有很好地考虑语义信息。

这篇论文提出了一种基于语义理解的双目去雨方法。该方法首先使用一种模型理解语义信息并且得到一种初始的去雨效果图，之后将语义信息与初始的去雨效果图融合，接着与多角度的图片信息融合，得到最终的去雨图。为了测试不同方法的去雨效果，研究者还合成了两个双目去雨的数据库。实验结果表明新提出的方法在单目去雨和双目去雨上都能得到很好的效果。

对于一组上双目相机拍摄的照片来说，同样的雨滴在两张照片产生的效果是不一样的。本文新提出的双目去雨方法可利用双目图片的视觉差完成雨滴移除操作，恢复清晰图片。

2. 利用雨痕和雨雾分析进行图像去雨

Rethinking Image Deraining via Rain Streaks and Vapors

本文由腾讯 AI Lab 与电子科技大学和上海交通大学合作完成，文中提出通过将雨痕建模为传输介质而非场景物体来实现图像去雨。

图像去雨模型是将含雨图像建模为场景图像、传输介质、雨痕和大气光的融合。尽管前沿的去雨模型不断涌现，但它们认为雨痕和场景内容物体具有相似的属性，而不是一种传输介质。由于雨雾往往蕴含在传输介质中从而产生朦胧效果，因此雨痕和雨雾的融合无法很好地反映含雨图像的生成过程。本文提出重新将雨痕归为传输介质而与雨雾一起对含雨图像进行建模。

本文提出了一个叫 SNet 的编码器-解码器来捕获雨痕的传输介质特性。由于雨痕形状和方向各不相同，研究者在 SNet 中采用了 ShuffleNet 单元来捕获其各向相异的表征。由于雨雾伴随雨痕，研究者又提出了用于多尺度雨雾介质预测的 VNet。另外，研究者还使用了一个名为 ANet 的编码器来估计大气光。为了预测传输介质和大气光从而进行含雨图像复原。，研究者对SNet、VNet 和 ANet 进行了联合训练。

去雨模型整体架构示意图。这个新的去雨模型将雨痕与雨雾作为不同的传输介质来建模。该模型会通过上图中的公式计算去雨后的图像。公式中各项均有相对应的网络估计结果，从而实现最终的去雨图像生成。

研究者进行了大量实验，结果表明新提出的去雨模型确实有效，而且也优于之前的其它方法。

对抗攻击

深度神经网络在对抗攻击面前的脆弱性已经成为其在关键领域应用的最大绊脚石之一，探索不同形式的对抗攻击以及对应的防御技术一直以来都是 AI 领域重要的研究课题。腾讯 AI Lab 今年共有3篇相关论文入选，包括实现对抗攻击的方法以及新的防御思路。

1. 针对对抗攻击的鲁棒目标跟踪方法

Robust Tracking against Adversarial Attacks

本文由腾讯 AI Lab 与上海交通大学合作完成，提出了一种针对对抗攻击的新思路。

深度神经网络易受到对抗攻击的伤害，目前仅有少量的工作以提升深度目标跟踪算法的鲁棒性从而克服对抗攻击为目标。目前在对抗攻防的研究集中在图像方面。本文不同于先前的关注方向，优先提出在视频序列中产生对抗样本来提升跟踪的鲁棒性。为此，研究者提出在产生轻量对抗扰动时候将时序信息纳入考虑。一方面，在原始的视频序列中加入时序扰动作为对抗样本使得跟踪性能大幅下降。另外一方面，串行地从输入视频中估计扰动并有效地剔除从而实现跟踪性能的修复。这种新提出的对抗攻防方法被用在了前沿的深度跟踪算法中。在数据库中大量实验证明，这种防御方法不仅能有效避免由对抗攻击带来的性能下降，而且能够在原始视频中提升现有的跟踪性能。

视频对抗攻防的可视化

上图展示了一个视频对抗攻防的示例，在第一行攻击过程中，随着迭代次数增多，扰动逐渐集中于物体周围从而使得现有算法丢失目标物体的定位。在第二行防御过程中，扰动逐渐被估计并削弱，使得现有算法得以重新找回目标物体。

2. 判别性局部域对抗网络

Discriminative Partial Domain Adversarial Network

本文由腾讯AI Lab与上海交通大学和卡尔加里大学合作完成，提出了一种新的判别性局部域对抗网络。

标准域适应假设源域和目标域共享相同的标签空间，是迁移学习的基础构件。一个更普遍和现实的设置是目标域的标签空间是源域的子集，称为部分域适应（Partial domain adaptation, PDA）。以前的方法通常将整个源域匹配到目标域，由于源域中的源-负类在目标域中不存在，就可能导致负迁移。

本文提出了一种新的判别性局部域对抗网络。研究者首先提出用硬二进制权重来区分源域的正样例和负样例。源阳性样例是指两个域共享标签空间的样例，其余源域样例为源阴性样例。基于上述二值重标策略，新提出的算法最大限度地提高了源阴性样例与所有其它样本（源阳性样例和目标样例）之间的分布发散性，同时最小化源阳性样本与目标样本之间的域差异，从而获得可判别的域不变特征。

新提出的局部域对抗网络示意图

不同于往常的局部域适应网络，在硬二值权重的基础上，DPDAN不仅能辨别源域中的正类与负类，还能在拉近源域正类与负类之间的域差异的同时，拉远源域负类和其它样例之间的距离。

实验证明，DPDAN能够有效地减少源-负类引起的负迁移，论文还从理论上证明了它能够减少标签空间不匹配引起的负迁移。在4个基准领域自适应数据集上的实验表明，DPDAN优于最新的方法。

3. 利用扰动分解的稀疏对抗攻击

Sparse Adversarial Attack via Perturbation Factorization

本文由腾讯 AI Lab 主导，与清华深圳国际研究生院合作完成，提出了利用扰动分解实现稀疏对抗攻击的新思路。

本文的研究课题为稀疏对抗攻击，其目的是在正常图像的部分像素上加入对抗扰动，达到欺骗深度神经网络模型的目的。稀疏对抗攻击面临着两个挑战，包括扰动的位置和扰动大小如何确定。很多现有工作通过人为设定或者启发式策略来确定扰动的位置，然后再利用现成的密集攻击算法来确定扰动的大小。

本文提出将单个像素上的扰动分解为两个变量的乘积，包括扰动大小和一个二元选择变量（状态为0 或者1）。如果状态选择变量为1，则该像素被扰动，反之不扰动。基于这个分解，本文将稀疏对抗攻击建模为一个混合整数规划问题，可以同时优化所有像素对应的二元选择变量和连续的扰动大小，并带有一个基数限制用于控制被扰动像素的个数。新提出的扰动分解形式还可以为模型带来额外的灵活性，可以针对二元选择变量或者扰动大小变量添加一些想要达到的约束限制，比如群稀疏和增强视觉上的不可察觉性。

稀疏对坑攻击示例

在上述示例中，本文提出的稀疏攻击算法不仅可以优化出稀疏且微小的对抗噪声，而且噪声位置与图像前景物体有较大的重叠，尤其是嵌入群稀疏约束后，更能凸显关键区域。这说明，本文提出的稀疏攻击算法还可以为模型可解释性提供新的分析工具。

本文还提出了一个高效的优化算法，可以将混合整数规划问题等价转化为一个连续优化问题。充分的实验表明所提出的稀疏对抗攻击算法超越了现有最好的稀疏对抗攻击算法。方法的实现代码将在如下网址开源：https://github.com/wubaoyuan/Sparse-Adversarial-Attack