麻省理工学院的研究人员通过文本蕴涵模型减轻了刻板印象的句子推理偏见

事实证明，即使是语言模型也会“认为”他们是有偏见的。当在 ChatGPT 中出现提示时，响应如下：“是的，语言模型可能存在偏差，因为训练数据反映了收集数据的社会中存在的偏差。例如，性别和种族偏见在许多现实世界的数据集中普遍存在，如果语言模型在此基础上进行训练，它可以在其预测中延续和放大这些偏见。一个众所周知但危险的问题。

人类（通常）在学习时可以涉足逻辑和刻板推理。尽管如此，语言模型主要模仿后者，当缺乏运用推理和批判性思维的能力时，我们看到这种不幸的叙事会令人作呕。那么，在争斗中注入逻辑是否足以减轻这种行为？

麻省理工学院计算机科学与人工智能实验室（CSAIL）的科学家们有一种暗示，因此他们开始研究逻辑感知语言模型是否可以显着避免更有害的刻板印象。他们训练了一个语言模型，根据上下文和语义来预测两个句子之间的关系，使用带有文本片段标签的数据集，详细说明第二个短语是否“包含”、“矛盾”或相对于第一个短语是中立的。使用这个数据集 - 自然语言推理 - 他们发现新训练的模型比其他基线的偏差明显更小，没有任何额外的数据，数据编辑或额外的训练算法。

例如，假设“这个人是医生”和假设“这个人是男性”，使用这些逻辑训练模型，这种关系将被归类为“中性”，因为没有逻辑说这个人是一个男人。对于更常见的语言模型，由于训练数据中的一些偏差，两个句子似乎是相关的，例如“doctor”可能会与“masculine”一起ping，即使没有证据表明该陈述是正确的。

在这一点上，语言模型的无所不在的性质是众所周知的：在自然语言处理、语音识别、对话人工智能和生成任务中的应用比比皆是。虽然不是一个新兴的研究领域，但随着复杂性和能力的增加，成长的痛苦可能会占据主导地位。

“当前的语言模型存在公平性，计算资源和隐私问题，”麻省理工学院CSAIL博士后Hongyin Luo说，他是一篇关于这项工作的新论文的主要作者。“许多估计说，CO·2训练语言模型的排放量可能高于汽车的终身排放量。运行这些大型语言模型也非常昂贵，因为它们需要大量的参数和计算资源。有了隐私，由 ChatGPT 或 GPT-3 等地方开发的最先进的语言模型有他们的 API，您必须在其中上传您的语言，但没有地方存放有关医疗保健或金融等敏感信息的地方。为了解决这些挑战，我们提出了一个逻辑语言模型，我们定性地衡量为公平，比最先进的模型小500倍，可以在本地部署，并且没有人工注释的下游任务训练样本。与最大的语言模型相比，我们的模型使用的参数是1/400，在某些任务上具有更好的性能，并显着节省了计算资源。

该模型具有 3.5 亿个参数，在逻辑语言理解任务上优于一些具有 1000 亿个参数的超大规模语言模型。例如，该团队在刻板印象、职业和情感偏见测试中评估了流行的 BERT 预训练语言模型及其“文本蕴涵”模型。后者的性能优于其他模型，偏差明显较低，同时保留了语言建模能力。“公平性”是通过一种称为理想上下文关联（iCAT）测试的评估，其中较高的iCAT分数意味着更少的刻板印象。该模型的iCAT分数高于90%，而其他强大的语言理解模型在40到80之间。

罗与麻省理工学院高级研究科学家詹姆斯·格拉斯（James Glass）一起撰写了这篇论文。他们将在克罗地亚计算语言学协会欧洲分会会议上介绍这项工作。

不出所料，研究小组检查的原始预训练语言模型充满了偏见，一系列推理测试证实了这一点，表明专业和情感术语如何明显偏向于性别词汇中的女性或男性词汇。

对于职业，语言模型（有偏见）认为“空乘人员”、“秘书”和“医生助理”是女性的工作，而“渔夫”、“律师”和“法官”是男性。关于情绪，语言模型认为“焦虑”、“抑郁”和“沮丧”是女性化的。

虽然我们可能离中性语言模式乌托邦还很远，但这项研究正在进行中。目前，该模型仅用于语言理解，因此它基于现有句子之间的推理。不幸的是，它目前无法生成句子，因此研究人员的下一步将是针对用逻辑学习构建的超流行的生成模型，以确保计算效率更加公平。

“虽然刻板推理是人类认知的自然组成部分，但具有公平意识的人在必要时用逻辑而不是刻板印象进行推理，”罗说。“我们表明语言模型具有类似的属性。没有显式逻辑学习的语言模型会产生大量有偏见的推理，但添加逻辑学习可以显着缓解这种行为。此外，凭借强大的零镜头适应能力，该模型可以直接部署到不同的任务中，具有更高的公平性、隐私性和更快的速度。