条件语言模型中的OOD检测与选择性生成

beyondGuo

发布于 2023-02-13 09:59:59

1.5K0

文章被收录于专栏：SimpleAISimpleAI

条件语言模型中的OOD检测与选择性生成

论文链接：https://arxiv.org/abs/2209.15558
作者单位：Google Research，CMU

背景

OOD现象和OOD检测在分类任务中已经被广泛研究：

OOD score：maximum softmax probability（MSP），K个类别中最大的概率来作为衡量OOD的指标
selective classification：对于OOD score太低的输入，模型拒绝输出

在conditional language model（CLM）任务（主要是summarization，translation）中，而由于language generation主要是通过auto-regressive的方式，错误更容易积累，因此OOD问题可能更严重。

本文的主要贡献：

提出一中轻量的、准确的基于CLM的embedding的OOD检测方法
发现perplexity（ppx）不适合作为OOD检测和文本生成质量评估的指标
提出了一套用于OOD检测和selective generation的评测框架

CLM中的OOD detection

如果直接套用classification任务中使用MSP作为OOD score的话，那么对于NLG问题我们就应该采用perplexity（ppx），然而作者实验发现使用ppx的效果很不好：

从上图可以看到，不用domain来源的数据，其ppx的分布重叠程度很高；甚至有些明明是OOD的数据，但其综合的ppx比ID的数据还要低。因此ppx对ID vs OOD的区分能力很差。

如何使用CLM自身的embedding来得到OOD score？

input embedding: encoder最后一层所有hidden states平均
output embedding: decoder最后一层所有hidden states平均（ground truth对应的位置）

1. 使用两个分布的距离来判断——RMD score

直觉上讲，当一个样本的输入/输出的embedding跟我训练样本的embedding分布距离很远的话，就很可能是OOD样本。

因此，可以先用训练数据集，对输入和输出空间拟合一个embedding的高斯分布：

input embedding distribution：

\mathcal{N}(\mu^z,\Sigma^z)

output embedding distribution：

\mathcal{N}(\mu^w,\Sigma^w)

然后，就可以使用马氏距离（Mahalanobis distance，MD）来衡量新来的embedding跟训练集embedding的距离：

马氏距离是基于样本分布的一种距离。物理意义就是在规范化的主成分空间中的欧氏距离。(维基百科)

然而，已有一些研究表明，使用相对马氏距离（即增加一个background distribution来作为一个参照），可以更好地进行OOD检测。于是对上述公式改进为：

其中MD_0(z_{test})是衡量test input跟一个background高斯分布的距离，这个background分布，是使用一个通用语料拟合出来的，比方使用C4语料库。

而对于CLM这种需要成对语料的任务，通用语料中一般是没有的，所以使用通用文本通过CLM decode出来的 outputs来拟合分布：

这样一来，RMD scores实际上可能为正也可能为负：

当RMD score < 0 时，说明 test example跟training distribution更接近
当RMD score > 0 时，说明 test example跟background更接近，因此更有可能是OOD的

因此，RMD score可以直接作为OOD detection的指标。

2. 基于embedding训练一个detector

上面是一种无监督的办法，作者还提出了一种有监督的办法，使用training samples和general samples作为两个类别的数据，使用embedding作为feature来训练一个logistic regressive model，使用background类的logits作为OOD score：

Input Binary logits OOD score
Output Binary logits OOD score

3. OOD detection实验

以summarization为例，实验所用数据为：

In-domain：10000条 xsum 样本
General samples：10000条 C4 样本
OOD datasets：near-OOD数据集（cnn dailymail，newsroom）和far-OOD数据集（reddit tifu，forumsum，samsum）
OOD detection衡量指标：area under the ROC curve (AUROC)