【NLP】BLEU（Bilingual Evaluation Understudy）评分

1.BLEU简介

BLEU（Bilingual Evaluation Understudy）是一种广泛用于评估机器翻译和自然语言生成任务质量的指标。BLEU-4评分是基于四个n-gram（从单个词到四词组合）匹配度的加权几何平均值，旨在衡量生成文本与参考文本之间的相似性。

#2. BLEU详细介绍

n-gram 精确度

对于每个n-gram（n=1,2,3,4），计算生成文本中n-gram在参考文本中出现的比例。例如：

Unigram (1-gram)：单独词汇的匹配比例。

Bigram (2-gram)：两个连续词汇的匹配比例。

Trigram (3-gram)：三个连续词汇的匹配比例。

Four-gram (4-gram)：四个连续词汇的匹配比例。

几何平均值

将这四个n-gram精确度取几何平均值，以获得一个综合评分。几何平均值可以防止某一个n-gram匹配度极低时对整体评分的影响过大。

长度惩罚（Brevity Penalty）

为了防止生成过短的文本得到高分，BLEU引入了长度惩罚项BP（Brevity Penalty）。如果生成文本比参考文本短，则应用惩罚；如果生成文本较长或等长，则不惩罚。