不信任黑箱模型？用可解释性搞事情！

全文共2599字，预计学习时长5分钟

随着机器学习出现在许多前沿科技进展中，机器学习模型的可解释性变得越来越重要。本文重点关注可解释性对数据科学家、终端用户和监管机构的用途。我们将会解释究竟什么是可解释性，它为何如此重要。

我们被机器学习驱动的应用所包围，日益受到机器决策的影响。从琐碎小事到救命大事，我们向机器学习模型寻求以下问题的答案：

1. 我会喜欢什么歌？

2. 我能获得贷款吗？

3. 我该雇佣谁？

4. 我患癌症的几率是多少？

这些以及许多其他问题，都是由大多数人都知之甚少的预测模型来回答的。数据科学家经常强调其预测模型的精确，而非这些预测是如何实现的。通过机器学习，模型就可以可以做预测。

复杂的模型更难理解

一些机器学习模型简单易懂。我们明白改变输入内容将如何影响预测结果，也能为每个预测提供理由。然而，随着机器学习和人工智能的进步，模型变得非常复杂——包括复杂的深度神经网络和不同模型的集合。我们将这些复杂模型称为“黑箱模型”。

不幸的是，复杂性既为黑箱模型提供了非凡的预测能力，却也使其变得难以被理解和信任：黑箱模型的内部算法不会暴露它们的秘密？一般来说，它们不会明确解释为何做出某种预测，而只会给出一个晦涩深奥的概率。有时会出现成千上万（甚至百万）的模型参数，输入要素和参数间并没有一对一的关系。并且，使用大量参数的多模型组合也会影响预测。其中一些模型还需要数据库支持，它们需要庞大的数据才能实现高精度性。很难弄清它们从这些数据集中学到了什么，以及哪些数据点对结果的影响更大。

由于所有这些原因，人们很难理解机器预测的过程和结果。我们既难确定能否信任这些模型，又难确保能否用它们做出合理决定。

如果它们的所学有误呢？如果它们还没准备好被投入使用呢？这里存在着虚假陈述，过度简化或过度拟合的风险。因此，我们在使用它们时还还需谨慎，最好能了解这些模型是如何运作的。

为什么准确性不够

在机器学习中，精度是通过比较机器学习模型的输出与输入数据集的已知实际值来衡量的。

通过记忆数据集中不重要的特征或模式，模型可以实现高精度。如果输入的数据集存在偏差，这也会影响模型。此外，训练环境中的数据，可能无法代表部署模型的生产环境中的数据。即使它最初具有充分的代表性，但如果我们把生产环境中的数据视为变化的，那么训练环境中的数据可能很快就过时了。

因此，人们不能仅依赖于针对特定数据集实现的预测准确度。我们需要了解更多，需要揭开黑箱机器学习模型的神秘面纱，提高其透明度和可解释性，使它更值得信赖且更可靠。

什么是可解释性？

可解释性意味着，对于一个特定决策或过程，为终端用户给出解释。更具体地说，它需要：

1. 了解影响结果的主要任务。

2. 解释算法做出的决策。

3. 找出算法学习的模式/规则/特征。

4. 对结果持批评态度。

5. 探索算法的不明未知数。

它无需理解每个细节，即在训练数据过程中，一个模型是怎样用于每个数据点的。

为什么我们需要可解释性？

出于各种原因，可解释性对于不同的人都很重要：

数据科学家，希望构建高精度模型。他们想理解细节，以获悉如何选择最佳模型，并改进该模型。他们还希望从模型中获得一定见解，以便将其发现传达给目标受众。

终端用户，想知道模型给出某种预测的原因。他们想知道自己将如何受此决策影响，自己是否被公平对待，自己是否需要反对某些决策。他们希望在网上购物，或点击网页广告时，是有一定可信度的。

监管机构和立法者，希望该体系公正透明。他们想保护消费者。随着机器学习算法的必然兴起，他们越来越关注由模型所做的决策。

这些用户想从黑箱模型中获得的内容是相似的。他们希望模型是容易理解的，值得信赖的，并且可以解释的。

1. 容易理解：系统可以解释它是如何工作的，和/或它为什么给出这些预测。

2. 值得信赖：系统可以在不连续控制的情况下，应对现实世界中的不同情境。

3. 可解释性：系统可以传达有关其内部运作的实用信息，关于它所学习的模式以及它给出的结果。

在典型的机器学习途径中，我们可以控制用于训练模型的数据集，控制自己所使用的模型，以及如何评估和部署这些模型。

何时需要可解释性？

如果你对可解释性有要求，首先需要自问为原因。在预测中的哪个阶段需要可解释性？或许，没必要了解模型如何为每个应用进行预测。但是，如果这些预测用于高风险决策，你可能就需要知道在确定目标之后，应关注在流程的哪个阶段需要哪些技术：

1.预建模的可解释性（模型输入的可解释性）：在开始建模之前，了解数据集非常重要。您可以用各种探索性数据分析和可视化技术，来更好地理解数据集。这包括总结数据集的主要特征，寻找数据集里的典型点或关键点，以及从数据集中查找相关特征。在全面了解数据集之后，您需要考虑将在建模中使用哪些特征。如果您在建模后，想解释输入-输出关系，则需要从有意义的特征入手。虽然高度工程化的特征（例如从t-sne，随机投影等获得的功能）可以提高模型的准确性，但是当模型投入使用时，它们将无法做出解释。

2.建模中的可解释性：我们可以根据模型的简单性、透明性和可解释性，将模型分为“白箱（透明）模型”和“黑箱（不透明）模型”。

（1）白箱（透明）模型：通常认为，决策树、规则列表和回归算法属于此类。与少数预测因子一起使用时，这些模型很容易理解。它们使用可解释的转换，让人更直观地了解事物的运作方式，这有助于您掌握模型里进行中正进行的事。您可以向技术人员解释它们。但当然，如果用数百个特征，构建了一个非常深入的大型决策树，那么事情仍会变得复杂且无法解释。

（2）黑箱（不透明）模型：深度神经网络、随机森林和梯度增强机器属于此类。通常，它们会运用大量预测因子和复杂转换，其中一些有很多参数。一般情况下，很难想象和理解这些模型中发生的事情，更难与目标受众沟通。但是，它们的预测精度会优于其他模型。该领域最近的研究希望使其更透明。其中一些研究，涵盖了训练过程中的技术。提高这些模型的透明度的途径之一是，不仅要做出预测，还要生成解释。另一方法是，在训练过程之后，加入可视化功能。

3.建模后的可解释性（事后可解释性）：模型预测中的可解释性，有助于监测输入特征与输出预测之间的动态。一些后期建模活动是模型相关的，而其他无关。在此阶段添加可解释性，有助于了解模型的最重要特征，了解这些特征是如何影响预测的，每个特征如何作用于预测，以及模型对特定特征的敏感程度。除了模型专用技术（如随机森林的变量重要性输出）之外，还存在模型不可知技术，如部分依赖性图（PD），个体条件期望图（ICE），和局部不可知解释模型（LIME）。

留言 点赞 发个朋友圈

我们一起分享AI学习与发展的干货

编译组：纪宣羽、韦振琛