IBM，哈佛开发工具来解决AI翻译中的黑盒问题

近年来，由于深度学习和神经网络的进步，机器翻译得到了极大的改进。然而，神经网络的优势在于不知道它们内部发生了什么，这意味着很难解决它们的错误，例如当他们用阿拉伯语翻译“早上好”以用希伯来文“攻击他们”时。

IBM和哈佛大学的研究人员开发了一种新的调试工具来解决这个问题。该工具于上周在柏林举行的IEEE视觉分析科学与技术大会上发表，该工具让深度学习应用程序的创建者可视化AI在将一系列单词从一种语言翻译成另一种语言时所做出的决策。

这个工具被称为Seq2Seq-Vis，是旨在解释深度神经网络决策的几项努力之一。广泛称为“ 黑匣子问题 ”，神经网络的不透明性已成为人工智能行业面临的严峻挑战之一，尤其是当深度学习进入更关键的领域时。

Seq2Seq-Vis专注于“序列到序列”模型，即大多数现代机器翻译系统中使用的AI架构。“序列到序列模型可以学习将任意长度的输入序列转换成任意长度的输出序列，”IBM研究院的科学家Hendrik Strobelt说道，并补充说除了语言翻译之外，还使用了序列到序列。在其他领域，如问答，长文本摘要和图像字幕。“这些模型在大多数任务中都非常强大和最先进，”他说。

简而言之，序列到序列的转换模型通过几个神经网络运行源字符串，将其映射到目标语言并优化输出以确保它在语法和语义上正确。神经网络的引入大大改善了结果，但也使应用程序更加复杂。

可视化机器翻译

Stobelt将传统语言翻译软件的调试与使用电话簿进行了比较。“每当出现问题时，你都可以查看这本书，找出产生错误信息的规则，你可以修复规则，”他说。“问题是，对于这些高度复杂的端到端训练网络，你不能轻易创建这样一本书。所以我们在考虑什么可以替代这样的东西。这基本上推动了我们对Seq2Seq-Vis的目标。“

Stobelt向我们展示了该工具如何在其演示网站上运行，该网站有一个德语到英语翻译出错的例子。句子“ dielängstenreisenfangen an，wenn es aufdenstraßendunkelwird。“应该被翻译成” 最长的旅程在街道变暗时开始。“但人工智能模型已经将其转化为” 最长的旅行在它上街时开始。”

Seq2Seq-vis创建序列到序列翻译过程的不同阶段的视觉表示。这使用户能够检查模型的决策过程并找出发生错误的位置。

Seq2Seq-Vis还显示输入和输出句子中的每个单词如何映射到AI模型的神经网络中的训练示例。“解释中最复杂的部分是如何将决策与训练样例联系起来，”Stobelt说。“训练数据描述了模型的世界。与训练数据所呈现的相比，该模型对世界的了解更多。因此，在调试模型时查看训练数据是有意义的。“

例如，通过使用可视化工具，用户可以确定错误是否是由于给予编码器和解码器的错误训练示例，对源语言和目标语言中的句子进行分类的神经网络; “注意模型”中的错误配置，即连接编码器和解码器网络的组件; 或者是“梁搜索”中的一个问题，即改进翻译模型输出的AI模型。

校正序列到序列模型

Seq2Seq-Vis并不是唯一试图解释人工智能决策的项目。解决黑匣子问题对人工智能行业来说变得越来越重要，并吸引了多家学术机构，大型科技公司和国防部的研究机构 DARPA 。IBM研究人员最近还提出了一项单独的计划，旨在使用情况说明书提高AI的透明度。

Seq2Seq-Vis需要访问有关其要调试的AI模型的培训数据和其他内部细节。相比之下，一些其他可解释的AI方法只需要访问神经网络的输出来解释他们的决定。

然而，虽然大多数其他方法仅关注解释AI决策，但Seq2Seq-Vis允许用户对其模型应用更正。“我们能够做到双方。我们能够进行可视化，但我们也能够改变底层后端，“Stobelt说。这就是Stobelt所说的“假设测试”。

例如，用户可以选择并更正输出序列中的单词，或者他们可以重新配置注意模型映射输入和输出位置的方式。

但是使用Seq2Seq-Vis并不适合翻译应用程序的最终用户。它需要有关序列到序列模型如何工作的一般知识。这当然是有道理的，因为正如Stobelt解释的那样，该工具针对的是AI模型的架构师和培训师。

那么谁对Seq2Seq-Vis感兴趣？“我们目前正在讨论如何在IBM内部使用它。但源代码是开源的，所以我可以想象很多公司都希望加入，“Stobelt说。

Ben Dickson是一名软件工程师，也是TechTalks的创始人，TechTalks是一个博客，探讨技术解决和创造问题的方式。