复杂环境下的目标视觉检测 | 人工场景与实际场景平行研究三部曲 | 新损失函数与组归一化

研究简析

为解决复杂环境下的目标视觉检测，人工场景与实际场景平行研究三部曲：

1) 场景构建

为模拟实际场景中可能出现的环境条件， 参照实景构建色彩逼真的人工场景，自动得到精确的目标位置、尺寸和类型等标注信息， 生成大量可有效利用的数据集。 人工场景具有可重复性和调整性，为了有效逼近实际场景，得到可利用的基础场景数据，可调整人工场景中的布置，间接对所形成得物理模型和参数逼近修正，定制图像生成要素， 以便从各种角度评价视觉算法。人工场景可通过不断调整和修正，预见未来的实际场景，为视觉算法设计与评估提供超前信息。

2)实验对比

针对人工场景和实际场景数据集对比， 进行全面充分的计算实验，把计算机变成视觉计算实验室，设计和评价视觉算法，提高其在复杂环境下的性能。与基于实际场景的实验相比，在人工场景中实验过程可控、可观、可重复，并且可以真正地产生实验大数据，用于知识提取和算法优化。 计算实验包含两种操作模式， 即学习与训练、实验与评估。学习与训

练是针对视觉算法设计而言，实验与评估是针对视觉算法评价而言。两种操作模式都需要对人工场景数据集和实际场景数据集的对比分析，从而增加实验的深度和广度。

3) 平行执行

将视觉算法在实际场景与人工场景中平行执行，使模型训练和评估在线化、长期化， 通过实际与人工之间的虚实互动，持续优化视觉系统。由于应用环境的复杂性、挑战性和变化性，不存在一劳永逸的解决方案，只能接受这些困难，在系统运行过程中不断调节和改善。平行执行基于物理和网络空间的大数据，以人工场景的在线构建和利用为主要手段，通过

在线bootstrapping(Online bootstrapping) 或困难实例挖掘(Hard example mining)，自动挖掘导致视觉算法失败或性能不佳的实例，利用它们重新调节视觉算法和系统，提高对动态变化环境的自适应能力。

前沿引领

案例一：CVPR 2018 | 腾讯AI Lab提出新型损失函数LMCL：可显著增强人脸识别模型的判别能力

腾讯AI Lab通过对特征向量和权重向量的 L2 归一化，把 softmax 损失函数转化为余弦损失函数，从而消除了半径方向上的变化，并在此基础上引入了一个余弦边缘值 m 来进一步最大化所学习的特征在余弦角度空间中的决策边界。具体而言，腾讯AI Lab发明了一种巧妙的算法，称为增强边缘余弦损失函数 (LMCL)，其以归一化后的特征为输入，可通过最大化类间余弦边缘来学习高度判别性的特征。

图 1：提出的 CosFace 框架。在训练阶段，使用不同类之间的增强边缘学习判别性的人脸特征。在测试阶段，首先将测试数据输入 CosFace 来提取人脸特征，然后再将这些特征用于计算余弦相似度分数以执行人脸验证和人脸辨识。

基于 LMCL，腾讯AI Lab开发了一种精巧的深度模型 CosFace，如图 1 所示。在训练阶段，LMCL 引导卷积网络使用增强余弦边缘来学习特征。在测试阶段，卷积网络提取出人脸特征，用以执行人脸验证或人脸辨识。其贡献如下：

1、腾讯AI Lab接受了最大化类间差异和最小化类内差异的思想，提出了一种全新的损失函数 LMCL，可用于为人脸识别学习高度判别性的深度特征。

2、根据 LMCL 所带来的超球面特征分布，我们提供了一个合理的理论分析。

3、在 LFW、YTF 和 Megaface 等流行的人脸数据库上，腾讯AI Lab提出的方法在大多数基准上都优于之前的最佳表现。

案例二：何恺明、吴育昕最新成果：用组归一化替代批归一化

组归一化介绍：视觉表征的通道并不是完全独立的。SIFT、HOG 和 GIST 的经典特征是符合分组特征的，其中每组信道由某种直方图（histogram）构成。这些特征通常通过在每个直方图或每个方向上执行分组归一化来处理。诸如 VLAD 和 Fisher Vectors (FV) 等高级特征也是分组特征，其中每一组可以被认为是关于集群计算的子向量。

类似地，我们不需要将深层神经网络特征视为非结构化向量。例如，对于网络的第一个卷基层 conv1 ，我们可以预期，滤波器（filter）及其水平翻转在自然图像上呈现类似的滤波器响应分布是合理的。如果 conv1 碰巧近似地学习到这对滤波器，或者通过将水平翻转设计到架构中，则这些滤波器的相应通道可以一起归一化。

神经网络中的更高层级更加抽象，它们的行为也不那么直观。然而，除了方向之外，还有许多因素可以导致分组，例如频率、形状、照明、纹理等，它们的系数可以是相互依赖的。

事实上，神经科学中一个广为接受的计算模型就是对细胞反应进行归一化，“具有各种感受野（receptive-field）中心（覆盖视野）和各种时空频率调谐”，这不仅可以发生在初级视觉皮层，而且可以发生在“整个视觉系统”中。受此启发，我们提出了一种新的深度神经网络的泛组归一化（generic group-wise normalization）方法。

组归一化公式：

只需要几行代码，GN 就可以在 iPyTorch 和 TensorFlow 实现。