多模态预训练分子表征学习及其在药物发现中的应用

西北工业大学尚学群、王小奇、湖南大学彭绍亮等在National Science Review期刊发表综述文章Multimodal Pre-training Models of Molecular Representation for Drug Discovery，对多模态预训练模型在药物发现领域的应用和发展进行了系统总结。

图1 MultiPM4Drug框架图。

分子的多模态数据

首先，介绍了DrugBank，PubChem、CTD等公开的数据库；其次，介绍了分子的一维序列、二维分子图、三维分子结构、分子描述符、分子相互作用网络、文本描述等多种表示方法，并强调他们之间的不同和联系。

图2 药物数据库和多模态表示。

预训练的网络框架

基于分子的不同表示，研究者通过DNN，CNN，RNN，Transformer等不同的神经网络进行药物发现。该论文介绍了这些网络的基本原理和框架，并且介绍了它们之间的优缺点；最后，强调了不同模态的分子表示和不同神经网络之间的适配性。

图3 Transformer和它的变体框架。

多模态预训练任务与策略

本文总结了药物发现领域中对比学习、多模态匹配预测、掩码预测和自回归预测等四种多模态预训练任务的基本原理和概念，并强调了不同预训练任务之间的差异性以及多模态任务融合的优势。其次，训练策略作为预训练和下游微调阶段之间的桥梁，根据预训练与下游任务的关系，本文将训练策略分为三类：联合训练、无监督表征学习和两阶段训练（预训练—微调），并介绍了不同策略的优缺点以及参数高效微调技术在药物发现领域中的发展趋势。

图4 自监督任务和训练策略。

基于多模态预训练的药物发现

基于系统的文献分析，本文发现了两个关键的发展趋势：（1）基于多任务学习框架，将图神经网络和Transformer模型集成在一起作为编码器，并利用多个预训练任务进行表征学习，有助于提升药物发现预测的精度；（2）分子描述作为一种简短的生物医学文本，成为了通用大模型在药物发现中应用的桥梁，进一步为精准的人工智能药物研发奠定了基础。

图5 药物发现应用。

参考资料

Xiaoqi Wang, et al. Multimodal pre-training models of molecular representation for drug discovery. National science review. 2025,13(1), nwaf495.

https://doi.org/10.1093/nsr/nwaf495

代码链接

https://github.com/AISciLab/MultiPM4Drug.git