AI公平性研究合作解析

关于某机构与国家科学基金会AI公平性合作研究的三个问题

一年前，某机构与国家科学基金会宣布了一项为期三年、总额2000万美元的合作项目，旨在资助关于AI公平性的学术研究。一个月前，国家科学基金会公布了该项目首批十位资助获得者。国家科学基金会计算机与信息科学与工程副助理主任Erwin Gianchandani抽空回答了关于该项目的三个问题。

1. AI公平性面临哪些挑战？

主要存在四大挑战：

首先是理解公平性的真正含义。如果考虑公平性的数学定义，可以观察两种不同人群类型，在对其运行算法或分类器时查看某些统计指标（如成功率）。一种公平性概念是确保该指标在不同人群类型间保持一致。

然而公平性还存在其他定义。哲学家们对不同的公平性概念已争论多年。因此，这项工作的核心是从抽象意义上更好地理解公平性的含义，从而了解如何设计系统以将公平性融入其中。

第二个挑战是当AI系统做出不公平决策时，责任归属问题。这涉及到问责制的重要性，以及如何确保AI系统用户能够自信地利用系统输出做出明智决策。

目标是尽可能为用户提供更多信息，以最小化结果不公平的可能性，或至少让用户理解AI系统预测中可能固有的不公平类型和程度。换句话说，这是为了向最终用户展示系统用于得出推荐的所有数据，使用户对该推荐拥有一定程度的信心。

第三个挑战领域是如何利用AI来改善社会公平与公正。例如，可以考虑稀缺资源（如食物）的公平分配、医疗保健的可及性、可能防止无家可归的干预措施等。如何利用现有的大量数据，并应用AI系统从中提取有意义的见解，从而使社会公平得到改善？

第四个也是最后一个挑战是如何构建AI系统，使其惠及所有人。例如，面部识别系统应该对所有种族的人都能同样良好地工作；但目前情况并非如此。同样，语音和自然语言系统应该适用于不同社会经济、种族、年龄、文化和地理群体的用户；这对当前技术提出了重大挑战。

2. 资助项目如何应对这些挑战？

让我通过几个例子来说明。在此之前，我想强调这些仅仅是示例，并不暗示对任何资助项目或其研究主题的偏好。

针对第一个挑战（制定公平性定义），我们资助的一个项目旨在开发稳健的理论和方法，用于在公平性指标难以确定的场景中评估和确保公平性。可以为特定任务或领域指定特定的公平性指标，或者可以查看特定的输入-输出组合，并尝试将公平性特征与之关联。

以具体用例为例，比如某人是否有财力开设银行账户。算法可能有一组输入——月收入或周收入、当前债务水平等。对于每个输入特征或输出特征，我们能否定义一个范围，在该范围内我们对准确性有信心，从而基本上尝试界定该算法中可能存在的公平或不公平程度？这个研究团队正在研究一个具体用例——刑事司法系统中的累犯问题。

针对第二个挑战（理解AI系统如何产生特定结果），我们资助了一个项目，旨在开发促进更好理解深度神经网络整个生命周期的技术——包括数据准备、特征识别、系统优化的目标——从而将导致特定输出的步骤与输出一起呈现给用户，为其决策提供信息。

这实际上是要在输出中体现出系统在每个步骤中所做的工作，使人类用户能够看到各种决策点。换句话说，这是为了让AI系统的内部运作更容易解读，并在此过程中让用户认识到任何偏见。

第三和第四个挑战有些相关——利用AI改善社会公平，以及设计AI系统使其惠及所有人。我们在这方面资助的一个项目正在研究心脏手术后的种族差异。

例如，我们早就知道某些种族群体患心脏病的比率高于其他群体，并且已知术后问题（心脏病手术干预后出现的问题）的发生率也更高。但我们不清楚这种差异有多少是由于生物因素，有多少是由于社会经济因素，有多少是由于根据人们就诊地点的不同而导致的护理差异等。

我们资助了一个项目，尝试将AI工具应用于丰富的电子健康记录数据集，从概念和实践上理解我们所观察到差异的根源。

再次强调，这些只是说明广泛研究领域的几个例子，我预计通过这种合作未来的资助项目可能会超出这些具体主题。

3. 公私合作在应对这些挑战方面有哪些优势？

我们看到公共和私营部门合作具有显著的价值主张。

首先，让学术界了解行业面临的各种挑战是有价值的。我们通常称此类研究为"使用启发型"研究：我们能够审视具体问题，并用这些问题来激发研究问题本身。

除此之外，我们都知道当今的AI革命基于大量易获得的数据以及利用这些数据集的计算资源。通常，获取这两者——例如获取云计算资源——对我们的学术研究人员来说非常有价值。

第三，学术研究人员受益于公司在加速研究成果从实验室环境转向实践方面的经验。

最后，对我们来说真正重要的另一个维度是培养下一代研究人员和实践者。我认为我们都同意，我们将看到经济各部门对数据科学、机器学习和AI能力的需求。为研究AI公平性的学生提供接触行业——了解行业面临问题——的机会，是培养我们研究生态系统未来所需人才的一种方式。如果一些受这些联合项目资助的学生在毕业并开始职业生涯时能从这种接触中受益，那将是非常棒的。

查看通过新合作资助项目的完整列表。