防止NLP模型更新在特定任务上性能倒退

机器学习模型更新的挑战

机器学习(ML)模型需要定期更新以提高性能，但重新训练模型存在风险，例如失去后向兼容性或出现行为回归，即模型在平均性能提升的同时，在特定任务上出现倒退。这种情况常常阻碍最先进的ML模型在生产AI系统中的快速采用。

结构化预测中的回归问题

先前关于防止模型回归的研究主要集中在分类任务上。但这些技术未能很好地推广到结构化预测任务，如自然语言解析(将输入句子映射为结构化表示)。在结构化预测中，任何局部预测的差异都会导致不兼容的全局结构。即使解析器共享相同的分解范式，参数化和训练程序的差异仍可能导致显著的行为不一致。

后向兼容重排(BCR)方法

在NeurIPS会议上发表的研究中，提出了一种名为后向兼容重排(BCR)的新方法。BCR采用了判别性重排的思想(一种提高解析准确性的知名方法)，具体是利用旧模型作为判别性重排器，对新模型产生的n个最佳假设进行评分。

量化后向兼容性

为了量化后向兼容性，研究扩展了负翻转率(NFR)的概念，测量全局和局部预测层面的回归错误。还引入了负翻转影响(NFI)作为相对兼容性度量，定义为负翻转与总预测错误的比率。

实验结果

在依赖解析和会话语义解析两个自然语言解析任务上的评估显示，BCR能持续降低NFR和NFI，且不影响新模型的准确性。相比知识蒸馏和模型集成方法分别实现的3%和28%NFI相对降低，BCR在所有模型更新设置中平均实现了58%的NFI相对降低。

Dropout-p采样方法

研究提出了一种新的n最佳候选解码方法——dropout-p采样。该方法在推理过程中使用dropout，增加输出的异质性而不牺牲质量。相比传统采样方法，dropout-p采样具有以下优势：

1. 保持默认解码算法不变
2. 可视为全局采样而非局部采样
3. 适用性不限于序列生成模型

推理速度

实验显示，对于依赖解析器deepbiaf和stackptr，在相同硬件条件下，解码和重排速度分别为171/244和64/221句每秒。在语义解析任务中，重排速度比解码快约5倍。

总结

这些研究结果为实现平滑无回归的ML更新提供了有前景的新方法，使AI能够优雅地随时间演进。这些发现具有通用性，在某中心和更广泛领域都有实际应用价值。