牛津研究如何塑造AI公平性评估软件

一篇牛津学者的论文如何影响了某云服务的偏见与可解释性软件

SageMaker Clarify 有助于检测数据和机器学习模型中的统计偏见，并解释模型为何做出特定预测。实现这一目标需要应用一系列评估数据潜在偏见的指标。其中，Clarify 的一个特定指标——条件人口统计学差异（CDD）——其灵感正来源于牛津大学牛津互联网研究所（OII）的一项研究。

论文《Why Fairness Cannot Be Automated: Bridging the gap between EU non-discrimination law and AI》的作者包括：牛津互联网研究所法律与伦理学副教授兼高级研究员桑德拉·瓦赫特、数据伦理学高级研究员布伦特·米特尔施塔特，以及现为某中心高级应用科学家的克里斯·拉塞尔。他们“提出了一种确保算法建模和数据驱动决策公平性的新测试，称为‘条件人口统计学差异’”。

CDD 被定义为“每个子组人口统计学差异的加权平均值，每个子组差异按其包含的观察数量比例进行加权”。

“人口统计学差异问的是：‘被拒绝结果中弱势群体的比例，是否高于同一群体被接受结果的比例？’”圣克拉拉大学利维商学院金融与数据科学教授、某中心学者桑吉夫·达斯解释道。

达斯是在参与开发 Clarify 的团队时，查阅相关文献过程中读到这篇论文的。

“我读了前几页，其文字立刻吸引了我，”他说。“在所有我读过的论文中，这是唯一一篇我可以诚实地说，读起来真是一种享受。我觉得它写得太美了。”

这篇论文的想法植根于 OII 小组此前所做的研究。

“在做这篇论文之前，我们主要是在机器学习和可解释人工智能领域工作，”米特尔施塔特说。“我们开始对这个问题的兴趣是：想象一下，你想解释人工智能是如何工作的，或者一个自动化决策是如何实际做出的，你如何才能以一种伦理上可取、法律上合规且技术上可行的方式做到这一点？”

在探讨这个问题时，研究人员发现，开发者所依赖的一些公平性技术标准，缺乏对法律和伦理机构如何看待这些相同标准的理解。这种技术与法律/伦理公平性标准之间缺乏协调，意味着开发者可能没有意识到其模型中的规范性偏见。

“本质上，我们提出的问题是：‘好吧，那些常常主导对话的技术工作，究竟在多大程度上与法律和哲学相匹配？’”米特尔施塔特解释道。“我们发现，现有的很多工作在公平性或平等如何被操作化方面不一定有帮助。我们发现了技术方面大部分工作与法律实际应用方式之间存在相当大的差距。”

因此，OII 团队着手研究弥合这一差距的方法。

“我们试图弄清楚，法律中的公平性概念是什么，它在技术社区中是否有对应的概念？”瓦赫特说。“我们找到了一个两者之间重叠度最大的概念：条件人口统计学差异。法律中有一种特定的公平性理念，即‘这是理想的方式，事情应该如何’。而这种衡量证据、判断某事是否不平等的方式，在计算机科学中有一个对应物，那就是 CDD。所以现在我们有了一个受法律公平性概念启发的衡量标准。”

达斯表示，这篇论文让他立刻看到了其价值。

“我之所以能看到价值，并非因为我突然顿悟，而是因为这篇论文将其阐述得非常清楚，”他说。“事实上，这是该产品中我最喜欢的指标。”

达斯认为，OII 的论文之所以有用，有几个原因，包括能够发现某些看似偏见的情况可能实际上并非偏见。

“它也让我们能够衡量我们是否看到了偏见，但这种偏见并非真正的偏见，因为我们没有检查所谓的‘辛普森悖论’，”他说。“这篇论文实际上处理了辛普森悖论。”该悖论指出，在聚合数据中出现的趋势，在数据被分解后往往会消失。

“这在 1970 年代伯克利大学的招生中出现了，”达斯解释道。“当时有人担心学校录取的男生多于女生，因此其录取过程可能存在偏见。但当人们分析各院系（工程学院、法学院、文理学院等）的录取率数据时，发现了一个非常奇怪的现象：几乎在每一个院系，被录取的女性都多于男性。事实证明，这两点能够协调的原因是，女性更多申请了更难录取、录取率更低的院系。因此，尽管按院系分，更多女性被录取了，但由于她们更常申请那些录取人数较少的院系，最终进入大学的女性总数反而更少。”

OII 研究人员概述的方法通过利用汇总统计来解决这个悖论。

“汇总统计基本上让你看到在整个受系统影响的人群中，不同群体之间的结果如何比较，”米特尔施塔特解释道。“我们将对话转向了在衡量公平时，什么才是正确的特征或变量来作为条件。”

OII 团队很高兴看到他们的工作在 Clarify 中得到实现，并表示希望他们的论文能对开发者有用。

“开发者方面有兴趣尽可能严格地测试偏见，”瓦赫特说。“所以，我希望那些实际开发和部署算法的人能够轻松地将我们的研究应用到他们的日常实践中。看到它实际上对实际应用有用，这非常令人兴奋。”

“某中心的实现正是我希望看到的影响，”米特尔施塔特表示同意。“你必须真正将这样的工具交到那些将与人工智能系统打交道、正在开发人工智能系统的人手中。”