BMC Bioinf｜基于双向LSTM和Multi-head Attention的HLA与肽的结合预测

作者 | 张泽宇 编辑 | 庞超

今天给大家介绍Ji Wan等人在BMC Bioinformatics 2021上发表的文章“MATHLA: a robust framework for HLApeptide binding prediction integrating bidirectional LSTM and multiple head attention mechanism”。在HLA分子与肽的结合预测任务中，基于深度学习的预测模型虽然表现出较好的性能，但许多依赖于特定类型的HLA分子或特定的肽表位长度，且对数据量依赖较大，这导致数据量较少的HLA-C类分子和长肽表位的预测性能相对不佳。为此，作者基于双向LSTM和Multi-head Attention提出了新的预测模型，改善了HLA-C类分子和长肽表位的预测性能。

一、研究背景

1.1 背景

近年来，基于特异性T细胞的免疫治疗不断发展，取得了较好的成果，而靶向识别是免疫治疗过程的重要一环。对于靶向识别而言，准确预测HLA与肽的结合是其中的关键。

许多基于深度学习的预测模型被提出，并表现出较好的性能。然而，许多模型都依赖于特定类型的HLA分子或特定的肽表位长度，且深度模型对数据量依赖较大，这导致数据量较少的HLA-C类分子和长肽表位的预测性能相对不佳。

1.2 相关工作

过去几年，各种深度模型开始应用于HLA与肽结合预测任务中，比如深度神经网络、卷积神经网络和循环神经网络。

另外，研究表明，数据的质量对于模型的预测有着重要影响，而近年来数据量的增多也一定程度上促使模型性能提升。

1.3 现存主要问题

(1) 由于HLA各类分子的现存数据量差异较大，导致HLA-C类分子数据量较小，在模型上预测准确度较低。

(2) 由于现存数据中多数位点序列长度为8-11，导致长位点序列的数据量较小，在模型上预测准确度较低。

二、模型与方法

本文基于双向LSTM和Multi-head Attention，提出了MATHLA模型，完成了HLA分子与肽结合预测任务，并取得了性能提升。

2.1 嵌入层

对于长度为L的表位序列，使用BLOSUM62矩阵对序列中的氨基酸进行嵌入，因此得到L个20维的向量。

2.2 序列学习层

对于嵌入层得到的L个向量，使用双向LSTM学习序列中的上下文关系，得到隐藏层向量和输出层向量。

2.3 注意力模块

对于序列学习层中的隐藏层向量和输出层向量，使用多头注意力机制，得到注意力向量，注意力计算方式如图1。

图1. 注意力计算方式

2.4 融合层与输出层

对于得到的注意力向量，使用2维卷积得到融合向量。再将融合向量线性激活，得到预测概率。

2.5 模型架构

图2. MATHLA模型架构

三、实验结果

本文使用五折交叉验证，以AUC作为评测指标，与现有较好的模型进行比较，如MHCflurry、netMHCpan和ACME，并最终在数据集上取得最高AUC。

3.1 模型对长表位序列的预测性能提升较大

实验对长度为12-15的序列进行评测，性能得到了明显提升，如图3。

图3. 各模型在不同长度序列上的预测性能

3.2 模型对新等位基因分子的预测性能较好

相比于现有模型，论文模型对新等位基因分子的预测性能较好。

3.3 模型对HLA-C类分子的预测性能提升较大

实验表明，模型对HLA-C类分子的预测性能提升较大，如图4。

图4. 各模型对HLA-C类分子的预测性能

3.4 模型能够刻画不同HLA分子结合的模式特征

论文通过绘制部分head的热度图，表现了模型预测的模式特征，如图5。

图5. HLA分子结合的模式特征刻画

四、总结

本文基于双向LSTM和Multi-head Attention提出了MATHLA预测模型，在HLA分子与肽结合预测任务上表现出了很好的性能，并对HLA-C类分子和长肽表位有十分明显的性能提升。未来，作者将考虑引入自sel-attention机制和word2vec模型来改善序列的表示方式，以进一步提升模型的预测性能。

参考资料

Ye, Y., Wang, J., Xu, Y. et al.

MATHLA: a robust framework for HLA-peptide binding prediction integrating bidirectional LSTM and multiple head attention mechanism.

BMC Bioinformatics 22, 7 (2021).