基于Keras的关联神经网络CorrNet综合指南

选自TowardsDataScience

作者：Md Ashiqur Rahman

机器之心编译

参与：胡曦月、一鸣

利用多模态数据提升机器学习表现是一个值得关注的问题。本教程介绍了一种可同时图像和音频数据表征的网络——CorrNet，并提供了相应的实现代码。

人与动物都有这五种共同的感官：视觉、听觉、味觉、嗅觉和触觉。除此之外我们还有其它诸如平衡感、加速感和时间感等等。人类大脑无时不刻的在处理所有来自这些感官源的信息，这些感官中的每一个都会影响我们的决策过程。

任何对话中，唇部运动、面部表情和声带发声同时有助于充分理解说话者所说的词汇的意义。我们甚至可以在无声状况下单凭观察唇部运动来理解词汇，此时这一视觉信息不仅仅是补充信息，而更加是一种必要信息了。

这一现象在「麦格克效应（McGurk effect）」的一个例子中首次提出：当一个视觉可见的音节/ga/在配音时发作了/ba/，多数人听到的音节是却是/da/。想要使机器学习模型达到人类这样的性能，就需要利用各种数据源来进行训练。

在机器学习中，这些来自不同异构源的数据类型称为多模态数据，如语音识别中的音频和视觉信息。由于多模态数据可能由不同维度和类型的数据构成，往往难以在训练中直接使用。因此许多研究致力于解决多模态数据的通用表示。

学习多视图数据的通用表示有助于若干下游应用，如对视频及其对应的音频的通用表示进行学习，相比于单纯使用音频而言可以生成更加精确的字幕。那么，怎样学习这种通用表示呢？

关联神经网络（CorrNet）

CorrNet 示意图。尝试学习两种数据视图的共同表示，并且从该编码表示重构两种视图。

相关神经网络（CorrNet）是学习通用表示的一种方法。它的架构与传统的单视图深度自动编码器几乎相同。但它为每种数据模态都构建了编解码对。

模型架构

考虑一个双视图输入，Z = [Ia, Iv]，其中，Ia 和 Iv 分别是两种不同的数据视图，如音频和视频。下图所示是在该数据输入时 CorrNet 的一个简单架构。

在双模态数据 Z = [Ia, Iv] 的 CorrNet 示例中，Ia 和 Iv 是两个不同视图的数据（如音频和视频），其中编码器和解码器都是单层的。H 为编码表示，Ha= f( Wa.Ia+b) 为 Ia 的编码表示，f() 是任意非线性函数（如 sigmoid、tanh 等）。Hv = f( Wa.Ia+b) 同上。双模态数据Z的通用表示为：H = f( Wa.Ia + Wv.Iv + b)。

在解码部分，模型试图从通用表示*H*来重建输入，可以用以下两个公式表示：

I』a = g(W』a.H+b』)，I』v = g(W』vH+b』)。

其中 g() 为任意激活函数，I』a **和 I』v 是经过重建得到的输入。

训练

在训练阶段，可以基于三种损失来计算梯度：

最小化自重建误差，也就是将 Ia 到 Ia 和 Iv 到 Iv 重建的误差最小化。

最小化交叉重建误差，也就是将 Iv 到 Ia 和 Ia 到 Iv 重建的误差最小化。

最大化两个视图的隐藏表示之间的相关性，也就是最大化 Ha 和 Hv 之间的相关性。

最终得到的损失函数为：

此处，Lr() 表示重建损失，可以选择均方误差（MSE）或者平均绝对误差（MAE）。目标就是最小化该损失函数。并且我们想要提升相关性时，可以将它从损失中减去，也就是说，相关性越大，损失越小。

CorrNet 实现

实现可以分为三个部分：建模、设置损失函数和训练。

建模

在建模阶段需要创建自动编码架构。首先，导入所有需要的包。

然后创建 CorrNet 架构。简单起见，架构中只包含单层编码器和解码器。

现在来为模型写相关损失函数。

编译和训练

现在对模型进行编译和训练

经过训练，模型所学习到的通用表示可以用于不同的预测任务。比如通过 CorrNet 学习到的通用表示可以用于跨语言文档分类或音译等价检测。许多研究都表明使用通用表示可以提高性能。

此外，它还可以用于数据生成。比如，某个数据集中包含 10000 个音频片段及其对应的视频、5000 个丢失对应视频的音频片段以及 5000 个丢失对应音频的视频。此时，我们就可以用那 10000 个包含对应视频的音频片段来训练一个 CorrNet，并以此来生成数据集中丢失的音频和视频。

本文为机器之心编译，转载请联系本公众号获得授权。

------------------------------------------------