中南 | 情感分析革命：UniSA 引领多模态情感分析进入新纪元！(含源码！)

引言

 情感分析是自然语言处理中的一项重要任务。它旨在利用多模态信息实现情绪分类进而了解人们的情绪状态。它由多个子任务组成，例如：会话情感识别（ERC）、aspect-based的情感分析（ABSA）和多模态情感分析（MSA）。最初的研究主要关注单个子任务，却忽略了这些子任务之间相互关联的情感知识。然而，要想将情感分析中的这些子任务进行统却存在一定的挑战，例如：统一的输入/输出形式、模态对齐和数据集偏差。

 恰好，今天给大家分享的这篇文章就做到了，他们采用生成式Transformer架构将情感分析的所有子任务统一为生成任务，提出了一种新颖的「多模态情感分析框架UniSA」，实验结果表明，UniSA在所有子任务上的表现与最先进的技术相当，并且可以很好地推广到情感分析中的各种子任务。

Paper：https://arxiv.org/pdf/2309.01339v1.pdf

Code：https://github.com/dawn0815/UniSA

背景介绍

 情感分析是一门利用多模态数据提取人类评论观点，理解和分类人类情感的学科。从广义上来说，情感分析包含了大量的子任务，如会话中的情感识别(ERC)、aspect-based的情感分析(ABSA)和多模态情感分析(MSA)。最初的研究主要关注单个子任务，却忽略了这些子任务之间相互关联的情感知识。因此，将所有子任务集成到单个模型中以提高模型的情感理解能力已成为一个重要的目标。

 在其他领域统一多任务建模的引领下，最近的研究探索了联合建模一些子任务的潜力，例如，有人联合建模ERC和MSA以提高这两个任务的性能；还有人将所有ABSA子任务转换为统一的生成公式，产生了特别好的结果；然而，目前却「没有人将所有情感分析子任务(ERC、MSA、ABSA等)作为单个研究对象进行联合建模」。

 情感分析所有子任务的统一建模面临三个主要挑战:

• 1)「格式挑战」。每个子任务的输入格式和分析视图各不相同。例如，MSA基于单轮对话分析情绪倾向，ERC通过对话中的语境信息综合评估说话人的情绪，ABSA从话语中提取属性词并根据这些属性词判断情绪倾向。联合训练这些具有不同输入和输出格式的子任务是第一个挑战。
• 2)「对齐挑战」。一些子任务使用多模态数据(例如，ERC)，而其他子任务使用单模态数据(例如，语音情感识别)。不同模态(文本、声音、视觉等)的数据格式和表示方式不同，每种模态都以其独特的方式表达情感信息。例如，文本情态主要使用情感词、定语、情态词和否定词来表达情绪，而声学情态主要使用强度、语速、停顿等声学参数来表达说话人的情绪波动。视觉形态通过面部表情、身体姿势和眼神来表达人类的情感。跨模态实现情感信息对齐是第二个挑战。
• 3）「偏见挑战」。情感分析是一项高度主观的任务，确保模型学习普遍的人类情感知识，同时较少受到主观偏见的影响是第三个挑战。此外，数据集注释偏差可能会影响具有高质量注释的多模态数据的质量，从而难以训练可以跨不同数据集泛化的模型。

SAEval

 基于以上背景，为了应对情感分析统一建模遇到的挑战，本文根据子任务与情感的相关性将情感分析子任务重组为两类，即主任务和下游任务。如下图所示：

 其中，主要任务是与人类情感表征最相关的子任务，包括 ABSA、MSA、ERC和评论分析 (CA)。下游任务包括与情感分析相关但不一定检测人类情感类别的任务，例如讽刺检测、幽默检测和表情符号预测。最后，本文提出了一种新颖的「多模态情感分析框架UniSA」，其模型架构图如下所示：

 如上图所示，作者采用生成式Transformer架构将情感分析的所有子任务统一为生成任务。具体来说，为了处理视觉、听觉和文本的跨模态输入，将原始Transformer编码器修改为多模态编码器，并引入模态掩模训练方法。该方法使模型能够有效地学习不同模态之间的关系，解决了跨模态实现情感信息对齐的挑战。

 另外，作者还提出了一种特定于任务的提示方法来标准化所有子任务的输入格式，解决了统一不同子任务之间的输入/输出形式，该方法将所有子任务视为生成任务并联合训练它们。如下图所示：

 最后，为了解决数据集之间的偏差，作者将数据集嵌入到输入中以区分不同的数据集。该技术有助于模型更好地理解每个数据集的特征，并提高其在所有任务上的性能。

SAEval数据集

 为了评估框架UniSA的性能，作者整理了每个子任务的基准数据集，并构建了一个新的情感分析基准SAEval，如下表所示：

其中，SAEval基准包括来自情感分析不同子任务的多个数据集：

•SemEval-2014和SemEval-2016是Semeval基于方面的情感分析挑战的子任务。这些子任务的目标是识别与每个句子中包含的所有属性词相对应的情感极性（积极、消极、中性、冲突）。

•MOSI和MOSEI是两个广泛使用的多模态情感分析数据集。SAEval针对这两个数据集的目标是通过合并多种模态来预测单轮话语的情感分数，该分数是范围从 -3 到 +3 的连续值。

•IEMOCAP和MELD都是使用多模态信息进行对话中情绪识别的数据集。SAEval基准使用这些数据集，根据可用的多模态信息和上下文来识别每个话语的情绪类别。

•EmoryNLP、DailyDialog和EmoWOZ是对话中文本情感识别的数据集。SAEval 对这些数据集的目标是根据文本信息和上下文识别话语的情感类别。

•SST-2、IMDB和Amazon Review是用于评论分析的数据集。SAEval针对这些数据集的目标是识别评论的情感极性。需要注意的是，Amazon Review仅用于预训练阶段，并没有用于SAEval评估的测试集。

 SAEval对每个子任务使用与原始任务相同的评估指标。加权准确率（WA）用于基于方面的情感分析和评论分析。平均绝对误差(MAE)、7类别准确度(ACC-7)和2类别准确度(ACC-2)用于多模态情感分析。WA和加权F1分数 (WF1) 用于对话中的情绪识别。

实验结果

 如下图所示，本文提出的UniSA模型在每个数据集上的性能与现有的SOTA模型相当。尽管UniSA在各种基准数据集上无法超越现有的SOTA模型，但它证明了对所有情感分析子任务进行统一建模的可行性。

 如下图所示的消融实验结果证明了本文提出的方法的有效性。

 如下表5所示，UniSA在资源匮乏的情况下，在每个下游数据集上都表现良好。UniSA对各种情感分析子任务表现出了良好的泛化能力。