多模态LLM SALMONN:可处理语音、音乐等基本音频

一个名为SALMONN的新型框架引起了广泛关注，旨在将大型语言模型的能力扩展到通用听觉领域。这个由语音、音频事件和音乐构成的通用音频输入是人工智能在真实环境中的关键组成部分。

SALMONN，全称Speech Audio Language Music Open Neural Network，是一个单一的音频-文本多模型大型语言模型框架。它的独特之处在于，它整合了语音和音频编码器与预训练的基于文本的大型语言模型，形成了一个统一的音频-文本多模型。这使得大型语言模型能够直接理解和处理通用音频输入，从而在多种音频和语音任务中取得竞争性的性能，包括问题回答、语音识别和翻译、说话者验证、情感识别以及音频和音乐字幕等。

关键词：音乐ChatGPT；天工SkyMusic；本草音乐；情绪分析；情感表达；音乐疗法；文化；多模态音乐

SALMONN的核心架构包括两个听觉编码器:一个用于非语音BEATs音频编码器，另一个来自OpenAI Whisper框架的语音编码器。这两个编码器通过自监督迭代学习方法进行训练，以提取语音和非语音高级音频语义。框架还采用窗口级Q-Former结构，用于在帧级别作为连接模块，将Q-Former生成的序列与文本指令提示相结合，然后提供为LoRA适应方法的输入，以生成所需的响应。

在训练方法方面，SALMONN框架采用了三阶段的跨模态训练方法。预训练阶段使用大量音频字幕和语音识别数据对LoRA和Q-Former组件进行预训练。指令微调阶段使用音频事件、音乐任务和语音事件的列表对音频-文本指令进行微调。最后，激活调整阶段针对音频字幕和语音识别任务的过拟合问题进行了调整。

SALMONN框架通过三个不同级别的基准测试来评估其认知听觉能力，涵盖了从简单的翻译和音频字幕到复杂的语音-音频共同推理和基于音频的叙事任务。结果表明，在第一级别的任务上，SALMONN框架在不经过激活调整的情况下取得了竞争性的结果。然而，对于第二和第三级别的任务，没有激活调整，SALMONN框架在任务上过度拟合，性能显著下降。但是，通过激活调整，结果得到了显著改善。

SALMONN框架标志着大型语言模型迈向通用听觉能力的重要一步。其多模型架构和激活调整阶段的引入使其在音频和语音任务中取得了显著的竞争性性能，为大型语言模型的通用听觉能力提供了新的可能性。

AnyGPT 利用离散表征来统一处理各种模态，包括语音、文本、图像和音乐。

为了完成任意模态到任意模态的生成任务，该研究提出了一个可以统一训练的综合框架。如下图 1 所示，该框架由三个主要组件组成，包括：

多模态 tokenizer

作为主干网络的多模态语言模型

多模态 de-tokenizer

其中，tokenizer 将连续的非文本模态转换为离散的 token，随后将其排列成多模态交错序列。然后，语言模型使用下一个 token 预测训练目标进行训练。在推理过程中，多模态 token 被相关的 de-tokenizer 解码回其原始表征。为了丰富生成的质量，可以部署多模态增强模块来对生成的结果进行后处理，包括语音克隆或图像超分辨率等应用。

AnyGPT 可以稳定地训练，无需对当前的大型语言模型（LLM）架构或训练范式进行任何改变。相反，它完全依赖于数据级预处理，使得新模态无缝集成到 LLM 中，类似于添加新语言。

这项研究的一个关键挑战是缺乏多模态交错指令跟踪数据。为了完成多模态对齐预训练，研究团队利用生成模型合成了第一个大规模「任意对任意」多模态指令数据集 ——AnyInstruct-108k。它由 108k 多轮对话样本组成，这些对话错综复杂地交织着各种模态，从而使模型能够处理多模态输入和输出的任意组合。