吞食了海量数据之后，亚马逊的 AI 招聘软件患上了行业里潜在的性别歧视

摘要

如何确保算法足够公平且透明，是比「招到合适的员工」更难达成的目标。

当地时间 10 月 10 日，据路透社报道，亚马逊的机器学习专家表示，亚马逊设计的 AI 招聘算法中暗含了对女性求职者的偏见。

路透社援引了五位知情人士的消息称，从 2014 年起，亚马逊就在开发可以筛选求职者的程序，他们的目的很简单：像挑选商品一样，完成高效率、自动化的人才筛选。在形式上，亚马逊开发的 AI 招聘程序也与商城里的商品评分一样，从一星到五星，给每一个应聘者划分了等级，随后再交由人工 HR「按评价排名」进行最后的筛选。

被机器打分的应聘者们

据监管文件显示，当时亚马逊的人力资源部正在疯狂招揽新员工，2015 年 6 月以来，亚马逊全球员工数达到了近 58 万人，增加了两倍多。

正如所有基于人工智能的算法都需要不断通过机器学习新的数据来提高准确度，亚马逊的招聘算法也是亦然。问题是它基于十年来投递给公司的简历来训练算法模型，而这些简历大部分都是男性投递的，这是科技行业一个引人争议的现状，但算法并不知道如何应对这一情况，因此它就被训练成了对女性求职者有偏见，会优先选择男性求职者的算法。

据知情人士表示，在读取到带有「women's（女性、女子）」的相关词时，算法会降低简历的权重。比如简历中出现「女子象棋俱乐部队长」或者「女子学院」这样的关键词时，算法会直接对她们作降级处理。算法对简历上求职者提交的自我描述文案也有所偏好，比如算法会更多向「执行」（executed）、「攻占」（captured）等在男性求职者简历中的高频词汇倾斜。

虽然亚马逊自己声称一直在权衡公司的员工多样性和平等，也为了防止程序产生偏见，特意编写过相关的代码，但机器学习一旦运转起来，黑箱给出的结果也很难追根溯源。此外，实践证明算法给出的「最佳人选」往往在工作中表现的并不尽人如意，「这个技术给出的结果几乎是随机的。」知情人士说道。

亚马逊高管没过多久就对这个项目失去了信心，开发团队也在去年初解散。知情人士表示，亚马逊不会直接按照算法给出的「最佳人选」来聘请员工，AI 工具产生的结果只是作为招聘参考。

AI 招聘还在路上

尽管亚马逊的尝试已经遭到了内部的自我否决，但在人工智能应用愈发火热的当下，越来越多的公司开始尝试采用这种招聘方法。

据开发人才软件的公司 CareerBuilder 的调研显示，2017 年，美国有 55% 的 HR 表示在未来五年内，人工智能会参与到他们的日常工作之中。此外，希尔顿和高盛集团也在发掘把招聘流程自动化的方式。除了提高效率之外，减少人类招聘者对应聘者的主观判断也是各大公司想要使用科技参与招聘的原因之一。

比如在视频面试中加入视觉识别技术，分析求职者的面部表情、姿态和用语，而不单单只是看他的简历上的毕业院校和过往成绩，之于招聘者就更有可能找到有能力的人才而非花瓶。就简历来说，之于大公司，也越来越倾向使用分析工具而非只依靠人工分配来把求职者分配到他合适的岗位上。目前联合利华、希尔顿、高盛都已经将类似技术应用于招聘流程中。

另一方面，也正如亚马逊不太理想的实验，无论是简历分析还是视觉识别，目前招聘这项工作还是远远不可能完全交由技术来完成。亚马逊目前也只是在用相关技术做一些大范围筛选简历的基本工作，但它们并没有完全放弃自动化招聘，公司在爱丁堡成立了新的团队，致力于再次研发招聘算法，这一次的重点，则放在如何做到多元化，减少算法的产生的「偏见」几率上。

去年冬天，M.I.T 的研究员 Joy Buolamwini 就曾发表论文，强调目前面部识别技术中隐藏着的严重种族偏见。她测试了许多面部识别商用软件，99％ 的白人男性的性别可以被正确识别，但随着肤色变暗，错误率呈指数增长，近 35％ 的黑人女性，包括像奥普拉和米歇尔·奥巴马这样的知名人物都会被误认性别。今年夏天，美国公民自由联盟发布了一份关于亚马逊研发的向执法机构推销的面部识别系统 Rekognition 的报告，发现其中至少有 28 起把国会议员的照片与数据库中的罪犯混为一谈的「错认案」。

如何确保算法是公平的，且过程不黑箱，给出的参考结果是有说服力的，这或许是一个比人类招聘者给出个「不满意理由」更艰难的目标。如何避免让算法有偏见，则是要让算法去克服人类本身易产生偏见和其他诸多思维上的缺陷，当你不自觉录入了偏见，算法就会在一次次推演中把原本细小的偏见撕的越来越大，最后一根针眼撕成了一道裂缝，那批评算法不精准有缺陷，或许并不只是它的错。

参考：

Amazon scraps secret AI recruiting tool that showed bias against women

Amazon scraps AI for bias against women, raises more doubts about objectivity of algorithms