读心AI有望实现？从脑信号到自然语言，BrainLLM实现非侵入性语言生成

如何实现从非侵入性脑记录中重建自然语言？传统方法通常依赖预构建的语言候选集，通过分类任务匹配从脑记录中解码的语义表示。然而，这种方法在处理开放词汇和复杂语义时存在显著局限。

近期，一项名为 BrainLLM 的研究提出了一种创新方法，利用自回归生成模型直接从功能性磁共振成像（fMRI）数据生成自然语言，避免了对预构建候选集的依赖。相关成果《Generative language reconstruction from brain recordings》发表在发表在《Communications Biology》杂志上。

研究背景

从脑记录中重建自然语言不仅有助于揭示人类大脑如何形成和处理语言，还为神经通信接口的开发提供了新的可能性。语言作为人类独特的认知能力，其生成与处理机制一直是神经科学的核心议题。近年来，随着脑成像技术和计算模型的进步，研究人员尝试从脑信号中解码语言信息。例如，Moses 等通过植入电极成功解码了50个目标词汇，而 Pereira 等利用 fMRI 从视觉刺激中重建句子。然而，这些传统方法多依赖分类任务，将脑解码与语言生成分为独立阶段，仅在事后选择阶段使用语义表示。这种方式无法生成超出预定义候选集的内容，限制了其灵活性。

尽管大型语言模型（LLM）在模仿人类语言方面取得了显著进展，但其生成结果依赖训练数据，无法保证与脑记录解码的语义一致。因此，如何将脑信号直接整合到语言生成过程，成为一个亟待解决的难题。BrainLLM 的提出正是针对这一挑战，试图通过创新方法实现从脑信号到自然语言的直接跨越。

BrainLLM 的创新之处

BrainLLM 的核心在于将脑记录解码的语义表示与语言模型的生成能力相结合，突破传统方法的局限。

其工作流程包括以下四个关键步骤：

1. 脑数据收集与特征提取：从 fMRI 记录中提取反映大脑对语言刺激反应的信号特征。
2. 脑适配器学习嵌入：通过一个“脑适配器”神经网络，将脑信号映射到与 LLM 文本嵌入相同的维度空间。
3. 构建多模态提示：将脑嵌入与文本提示嵌入拼接，形成语言模型的输入提示。
4. 自回归语言生成：基于输入提示，利用 LLM 逐词生成语言内容。

与传统分类方法不同，BrainLLM 直接将脑信号整合到语言生成阶段，消除了对预构建语言候选集的需求。这种设计充分利用了脑信号中的语义信息，并通过“提示调优”技术确保模型在有限神经数据上的有效训练，从而显著提升生成性能，为神经科学和机器学习研究提供了新的视角和应用场景。

实验结果

研究团队在三个公开 fMRI 数据集——Pereira、Huth 和 Narratives 上评估了 BrainLLM 的性能，这些数据集涵盖视觉和听觉语言刺激。结果显示，BrainLLM 在生成与大脑感知内容一致的语言方面显著优于对照组 PerBrainLLM（随机输入脑信号的模型）。具体表现如下：

1. 生成性能对比：BrainLLM 在三个数据集上的平均胜率分别为 64.9%、78.9% 和 66.5%，表明其生成语言与感知内容一致的可能性高于对照组。
2. 语言相似性指标：在 BLEU、ROUGE 和 WER 等指标上，BrainLLM 表现优异，尤其在 Huth 数据集上，BLEU-1 得分比对照组高出 40.2%。
3. 人类偏好评估：通过亚马逊 Mechanical Turk 平台招募的 202 名参与者对生成结果进行评估，48.4% 更倾向于 BrainLLM 的输出，39.2% 倾向于 PerBrainLLM。

这些结果表明，BrainLLM 在生成符合感知内容的语言方面具有显著优势，尤其在处理视觉和听觉刺激时表现突出。

关键发现

实验揭示了 BrainLLM 性能的几个关键影响因素：

1. 惊喜水平的影响：当 LLM 认为感知内容“出乎意料”（生成概率较低）时，脑记录解码的信息能显著增强生成过程。随着惊喜水平增加，BrainLLM 的胜率随之上升，显示其在处理复杂或新颖场景时的独特优势。
2. 文本提示长度的影响：文本提示长度与胜率呈负相关。较长的提示为 LLM 提供更多上下文，降低感知内容的惊喜水平，从而减少脑输入的重要性。
3. LLM 参数规模的影响：随着 LLM 参数规模增加，BrainLLM 性能提升，表明更大模型能更有效地利用脑信号信息。

未来应用与展望

BrainLLM 的成功为神经通信接口开发开辟了新可能性，尤其在开放词汇解码和个性化语言生成领域。未来，该方法可与基于运动表示的脑机接口等外部模块结合，进一步提升语言生成效果。此外，BrainLLM 还可作为研究工具，用于探索大脑语义信息的编码方式、不同人群对语言内容的期望差异，以及不同脑区与特定语言特征的关系。通过比较语言生成概率，研究人员还能深入了解语言的上下文效应及其神经基础。

参考

参考文献： Ye, Z., Ai, Q., Liu, Y., de Rijke, M., Zhang, M., Lioma, C., & Ruotsalo, T. (2025). Generative language reconstruction from brain recordings. Communications Biology, 8:346. https://doi.org/10.1038/s42003-025-07731-7

数据集与代码： https://zenodo.org/records/14838723

本文为BioAI实验盒对论文的学术分析、阐释及个人观点的呈现。原论文的版权归属于原作者，并遵循其版权协议。本文的解读部分内容由BioAI实验盒撰写，如需转载，请提前通过私信联系。