预测算法渗透学校 - 以下就是为什么这是一件好事的解释

几个星期前，一个故事揭示了新奥尔良警察局一直在使用由中情局支持的数据挖掘公司Palantir提供的预测性警务工具来识别帮派成员。该软件确定了帮派成员与非帮派成员之间的关系，分析了犯罪历史，抓取了社交媒体，并最终预测到个人会实施暴力的可能性。

可以预见，随之而来的是社会的愤怒。

但是，使用预测分析识别风险并不是什么新鲜事：它已被用于美国众多城市，反间谍行动以及学校。

“风险识别”已成为美国公立学校系统中一个非常流行的术语。各地希望降低辍学率，并且出现了大量数据驱动的工具，它们使用来自可疑获取数据的预测分析来识别有风险的学生。防止辍学，如防止犯罪，是一个高尚和有价值的目标。但预测性警务引发愤怒的原因是，算法往往会延续系统性偏见，并且只能通过收集大量数据点来工作 - 人们可能不知道的数据正在被收集。

预测分析在学校和刑事司法系统等机构中的兴起引发了一系列道德问题，我在下文中概述。但事实是这些算法在这里被使用 - 而且，我认为，这是一件好事。他们提出的问题 - 关于种族主义，数据所有权和预测犯罪的伦理都是我们应该几十年来一直在研究的问题。

1.谁拥有未成年人的数据？

在2015年的国会听证会上，有关新兴技术如何影响学生隐私的听证会上，一位代表询问了他们到达研究生学校时收集的学生数据的汇总情况。福德姆法学院法律与信息政策中心主任乔尔·雷登伯格很快就回答说：“请想想乔治奥威尔，并把它带到第n个学位。”

学校收集数据 - 从成绩到考试成绩，到互联网搜索到行为笔记 - 并非非法，但许多家长对于没有被告知准确收集哪些数据的想法非常不安，更重要的是，它正在被使用。事实上，在2012年，家长发现在一家价值1亿美元的公司布隆收集并与供应商和其他第三方分享学生数据。随之而来的是大规模愤怒，每个州和地区都通过撤销合同来回应，导致该公司在2014年关闭。

然而，从那时起，Hoonuit和微软等公司便悄然介入，为服务于学区的学校寻求降低辍学率的方法。实际上，联邦政府实际上已经要求每个州都从纵向数据系统中收集学前儿童的学生数据。该知识库中的数据包括医疗信息，调查回答，儿童服务，刑事司法系统和卫生部门。根据家庭教育权利和隐私法案（FERPA），教育记录中包含的医疗和咨询记录不受HIPAA保护，这意味着敏感的精神和身体信息可以在没有父母同意的情况下与第三方分享。

2.算法根深蒂固的系统性偏见是否有助于或危害有风险的学生？

算法根据先例预测未来的行为。但是，当先例显示少数民族危险行为比例较高时，算法则预测少数民族比非少数民族风险更高。然而，这不一定是准确的读数。最近的一项研究发现，并不是所有犯罪行为都有被警方录制的机会 - 例如，在巡逻很少的地区，犯罪报告的可能性高于（高收入）犯罪率较低的地区。

这种逻辑也适用于学校：根深蒂固的种族主义和其他形式的偏见导致教师（不是绝对无误的）报告一个孩子的某些行为比另一个孩子的行为更多。这教导了算法模仿这些相同的偏见，从而延续了系统偏见。

3.基于数据驱动的预测进行干预是否合乎道德？

这是警察使用预测分析的争议的核心问题。在犯罪发生之前预测犯罪的想法肯定是乌托邦式的 - 毕竟犯罪成为犯罪的时候到了什么地步？也就是说，干预帮助学生取得成功是一个比惩罚未来罪犯更高尚的目标。

如果你错误地认定学生处于“有风险”的状态，并试图帮助他们，很难想象跟踪潜在的犯罪分子可能发生这种情况。最糟糕的情况是，当孩子不一定需要时，他们会因为被介入干预计划而感到不安。

预测分析不是我们认为它的野兽

现实情况是，所有预防和惩罚系统一直都是预测性的。例如，假释制度基本上是一个人是否有可能再次犯罪的定性评估（预测性评估）。同样，学校的干预系统通过数十年的分析确定了“有风险”的学生 - 这是一个充满偏见的体系。预测分析只是使这些已经存在的系统更加透明。人们很不高兴，因为他们终于看到丑陋，一直是预测性的正义。

预测分析确实可以将人员减少到一组数据点。但是，我们人类也是这样做的，我们也倾向于更加重视错误的数据点 - 例如外观和背景。这个系统很丑陋 - 但代之以完全不同的结构，预测分析提供的透明度是可取的。如果算法是种族主义，我们可以比解决种族主义者更容易解决这个问题。

使用分析的真正缺点是数据隐私 - 这是今天发生的国家辩论的核心问题。在处理儿童数据时，了解各区如何使用和分发他们收集的数据非常重要 - 特别是当他们不使用专有系统时（我们都看到了第三方数据泄露会发生什么情况！）。

会有数据泄露，并且会有公司非法窃取预测分析系统的信息。但是以数据为导向的决策的成本超过了以定性方式检查我们如何对人类行为做出预测的好处。