蛋白质语言模型新进展：隐式结构模型如何将结构信息融入序列表示

实验盒

发布于 2025-02-25 19:59:13

2870

文章被收录于专栏：实验盒实验盒

引言

蛋白质语言模型（Protein Language Models, pLMs）已成为研究蛋白质序列与功能之间关系的重要工具。这些模型通过自监督学习从蛋白质序列中提取进化信息，为下游任务提供了丰富的特征表示。然而，尽管其在序列分析方面表现优异，现有模型通常缺乏对蛋白质三维结构的直接理解，这限制了它们在需要结构洞察的任务中的应用。

针对这一问题，来自德克萨斯大学奥斯汀分校的研究团队提出了一种名为隐式结构模型（Implicit Structure Model, ISM）的新方法。该方法通过创新的自监督训练策略，将结构信息融入仅依赖序列输入的模型中，显著提升了其在结构相关任务中的性能。

背景知识：蛋白质语言模型的现状与局限性

蛋白质语言模型，例如ESM2，通过掩码语言建模（Masked Language Modeling, MLM）任务从蛋白质序列中学习进化信息，已在序列分类、突变效应预测等任务中取得了成功。然而，这些模型的一个显著局限在于缺乏结构上下文。尽管Anfinsen的经典研究表明氨基酸序列蕴含了蛋白质折叠的所有信息，但现有单序列模型在提取结构特征方面仍显不足。例如，AlphaFold等高精度结构预测模型依赖多序列比对（Multiple Sequence Alignment, MSA）来捕捉进化中的共变信息，而单序列模型则难以完全挖掘这些隐藏的结构线索。因此，如何在不依赖显式结构数据或复杂输入的情况下，使序列模型具备结构理解能力，成为该领域的研究热点。

ISM的核心创新：结构微调与自编码器

隐式结构模型（ISM）的核心在于通过一种名为“结构微调”（structure-tuning）的自监督预训练目标，将结构信息融入序列模型。

具体而言，ISM的设计包括以下关键步骤：

微环境自编码器：ISM利用基于图变换器（Graph Transformer）的原子自编码器（Atomic Autoencoder）从蛋白质的局部化学环境中提取结构特征。该自编码器通过分析原子级别的微环境生成结构表示，并使用k-means聚类将其离散化为结构标记（structure tokens）。训练过程分为两阶段：首先结合掩码建模损失和距离图损失进行预训练，随后引入全局对齐的均方误差损失，进一步优化局部结构的重建能力。
自监督训练目标：ISM以预训练的ESM2模型为基础，通过预测结构标记将结构信息蒸馏到序列模型中。在训练中，模型不仅需要预测被掩码的氨基酸，还需同时预测每个残基对应的结构标记。这种双重任务设计使模型能够在保持序列进化信息的基础上，学习与三维结构相关的特征。

ISM的独特之处在于，它无需显式输入蛋白质的坐标或结构数据，而是通过自监督学习隐式地捕捉结构信息。这种方法降低了数据准备的复杂性，同时保留了模型的灵活性。

实验结果：ISM在结构相关任务中的表现

ISM在多个基准测试中的表现显著优于传统蛋白质语言模型，特别是在需要结构洞察的任务中。以下是其在关键任务中的具体成果：

蛋白质结构预测：在CAMEO基准测试中，ISM的GDT-TS得分达到0.67，高于ESM2的0.64，显示出其在结构预测方面的改进。
突变稳定性评估：在S669单点突变热力学稳定性预测任务中，ISM的AUC值达到0.76，优于ESM2的0.72，且与专门处理原子环境的模型性能相当，表明其在捕捉突变效应方面的潜力。
长程接触预测：在预测蛋白质长程三级相互作用的任务中，ISM的精度达到0.49，远超ESM2的0.35，显示出其对全局结构关系的卓越理解能力。

这些结果表明，ISM通过结构微调成功弥补了序列模型在结构相关任务中的不足，同时保持了与现有模型（如ESM2）相似的架构和接口，便于集成和替换。

讨论：ISM的意义与局限性

ISM的成功在于其能够在不依赖显式结构输入的情况下，捕捉蛋白质的局部和全局结构特征。这一突破不仅提升了模型在结构预测、突变稳定性评估和长程接触预测等任务中的性能，还为未来的蛋白质研究提供了新思路。其训练和推理过程无需复杂的结构数据工程，使其在实际应用中具有较高的可扩展性和灵活性。然而，ISM仍有一些局限性。例如，其性能可能受限于训练数据中结构信息的多样性，且在极端复杂结构的任务中可能仍不及依赖MSA的模型（如AlphaFold）。