基于预测反馈的情感分析情境学习

论文地址

Improving In-Context Learning with Prediction Feedback for SentimentAnalysis

主要内容

这篇文章的主要内容是关于如何通过预测反馈来改善大型语言模型（LLMs）在情感分析中的上下文内学习（In-Context Learning, ICL）能力。文章提出了一个框架，该框架通过以下三个步骤来增强ICL：

1. 获取LLMs的先前预测：使用传统的ICL方法为每个候选示例产生先前预测。
2. 设计基于正确性的预测反馈：根据预测的正确性将示例分类，并提供反馈以阐明先前预测与人类标注之间的差异。
3. 利用反馈驱动的提示来提炼情感理解：在推理过程中，从每个子池中选择相关示例，并使用特定的反馈驱动提示来包装输入、预测、标签和反馈。

文章通过在九个情感分析数据集上的实验结果表明，该框架相较于传统的ICL方法在平均F1分数上提高了5.95%。此外，文章还探讨了该框架的有效性和鲁棒性，并指出了其在其他任务上的潜在应用。

模型图

文章的反馈提示框架主要分为三步。 第一步正常预测，第二步将预测结果和真实结果进行比较得到反馈，第三步构建获得反馈的示例构建最终的提示词优化模型的任务表现。

技术细节

第一步：先验预测获取

这一步的重点是获取对每条数据的预测值，以便后续的反馈提供。

为此，遵循传统的ICL，文章先从候选池中随机选择四条数据作为示例，它们与任务指令结合起来提示LLM进行预测。

这些预测称为先验预测，因为它们反映了大模型的先验情感理解。

第二步：预测反馈设计

先验预测的正确性直接标志着llm能否准确把握相应样例的情感。

为了让大模型在理解和推理方面的自我调整，文章首先将示例分为两部分，Pc和Pw，其中前者为先验正确分类的数据，后者为先验错误分类的数据。

然后，以自然语言的形式分别提供反馈:

第三步：测试样本推断

为了完成给定测试输入的推理，首先从每组数据（先验正确和先验错误得到反馈的数据）中检索k/2（文章中k默认取2）个示例。

由于文章的框架与检索模式无关，因此这里可以使用任何示例检索技术。

此外，文章还开发了一个反馈驱动的提示模板，将每个选定示例的输入、预测、标签和反馈包装成一个四件套，也就是现在的一个示例是包含数据、先验预测值、真实标签和反馈值。

其实简单来说，文章的改进点就是示例进行了改进，在示例中加入反馈了。

这就是文章提出的框架运用的实例了。 前四个都是示例 最后一个就是要进行预测的。

实验结果

表1展示了在不同的情感分析数据集上，使用不同方法进行情感分类、方面情感分类和情绪检测任务时的性能对比。表中的性能通过F1分数（一种综合考虑查准率和查全率的性能指标）来衡量。

其中Random表示随机选取样例，BM25、SBERT、MMR、KMeans都是选取样例的各种方法，目的是选择更有代表性或者语义相似度更高的示例，以帮助大模型提示学习。

文章默认使用的大模型是Llama2-13B-Chat

我们可以看到实验结果，文章提出的方法都有提升，特别是在情绪分析任务上提升最大。

在一些立场检测，自然语言理解的任务上，文章提出的框架仍然有用。

消融实验表明每个部分都是有用的，去除都会影响性能。

运行

基础配置

win10，内存16G cpu：

gpu（显存6G）*1

安装包

python3.11

  pip install -r req.txt  --default-timeout=120 -i https://pypi.tuna.tsinghua.edu.cn/simple

运行代码

  run.bat

小结

文章的思路比较简单，但是效果确实有提升，提示学习还是有点东西的。