新数据集助力评估机器翻译模型的性别偏见

近年来，机器翻译系统在准确性和流畅性方面取得显著进步。随着应用范围扩大，确保其公平性、无偏见和准确性变得尤为重要。例如，当输入文本中人物性别在语言语境中明确时，机器翻译系统仍可能出现性别误译，这类错误会对翻译的正确性和公平性产生重大影响。

为解决该问题，某机构翻译团队开发了MT-GenEval评估基准，相关论文已在2022年自然语言处理实证方法会议（EMNLP）发表。该数据集具有以下特点：

1. 多语言覆盖：包含英语到阿拉伯语、法语、德语等8种语言的翻译评估
2. 真实数据源：基于维基百科真实语料，含专业人工翻译参考
3. 平衡设计：通过创建性别反事实文本（如将"王子"改为"公主"）确保性别平衡
4. 双重评估指标：
   • 性别准确率：检测翻译结果是否包含相反性别的词汇
   • 性别质量差距：比较不同性别子集的BLEU分数差异

数据集构建过程中，研究者首先从英文维基百科筛选包含明确性别词汇的三句话文本段，经人工标注排除不涉及具体个体的句子，最终形成每个语言对1150个评估片段和2400个平行训练句。

该研究特别关注从英语（性别标记有限）到西班牙语等（具有丰富语法性别系统）语言的翻译挑战。例如翻译"他是位高个子图书管理员"时，模型需根据"He"正确选择西班牙语中冠词(un)、形容词(alto)和名词(bibliotecario)的阳性形式。

MT-GenEval的发布为量化复杂真实文本中的性别翻译问题提供了系统化工具，有助于推动多语言场景下的性别准确翻译研究。自动评估显示，该指标在八种目标语言中与人工判断的一致性F值均超过80%。