医学顶刊TMI 2026！SAViT：高效的医学图像分析框架

来源：同济计算机

近日，我院2021级计算机科学与技术专业博士研究生刘艺航以第一作者身份发表《A General Framework for Efficient Medical Image Analysis via Shared Attention Vision Transformer》。该研究成果刊登于医学影像领域国际重要期刊 IEEE Transactions on Medical Imaging（TMI）。该研究由我院何良华教授指导完成，合作单位包括华东师范大学与新泽西理工学院。

聚焦医学影像小样本难题

提出 SAViT 通用分析框架

近年来，Vision Transformer（ViT）凭借强大的全局建模能力，在医学影像智能建模中展现出很好的潜力。然而，ViT性能非常依赖大规模训练数据，医学图像分析存在标注成本高、样本规模有限、病灶特征细微、跨模态差异显著等一系列挑战，进而使传统ViT在小样本场景下容易出现局部细粒度特征捕捉不足，预训练模型跨领域适配难度大的局限。因此，如何让ViT既能捕捉医学图像中的细粒度局部病灶特征，又能保持全局解剖结构理解，同时降低迁移学习成本，是当前医学影像智能分析中的关键问题。

针对上述问题，刘艺航同学在研究中提出Shared Attention Vision Transformer（SAViT）框架，面向医学场景中模型“局部特征捕捉不足、跨领域泛化能力弱”等核心瓶颈，提出兼顾数据效率与参数效率的通用解决方案。

具体而言，SAViT从医学图像自身特点出发，将“解剖结构具有空间一致性、局部区域之间存在可共享先验”这一医学规律引入ViT建模过程，增加了基于解剖辅助提示的共享先验注意力模块（Shared Prior Attention, SPA），通过可自更新的Anat-Prompt在不同局部解剖区域之间传递结构先验，并让这些局部区域共享同一套注意力权重，使模型在处理当前区域时能够借助此前区域积累的解剖信息，学习跨位置一致的局部表征和平移不变性。为保留 ViT 全局感知能力，提出了MixPool模块，该模块在SPA提取局部特征后，通过多尺度池化重新整合不同区域信息，建立跨区域长程依赖关系。由此，SAViT不仅能够关注病灶区域的细微变化，还能保留对整体解剖结构的理解，实现“局部细节感知”与“全局结构建模”的协同统一。

为提高模型跨领域分析能力，进一步提出了低秩多头自注意力模块（Low-rank Multi-head Self-Attention,Lr-MSA）。该模块并非简单压缩模型，而是基于医学图像中诊断相关信息与冗余信息并存的特点，对注意力计算过程进行针对性轻量化设计：通过降低注意力匹配过程中部分特征映射维度，减少计算量和参数开销；同时保留承载细粒度医学信息的高维特征表达，以维持对微小病灶和复杂解剖结构的表征能力。

图1：SAViT整体框架

为了验证上述框架在“数据有限、模态多样、泛化受限”等真实场景中的有效性，在视网膜病变、皮肤镜图像、胸部X光等不同医学影像模态上进行了一系列验证，且SAViT均展现出稳定的泛化能力；在从零训练场景下，面对有限标注样本，SAViT相比传统ViT和多种医学图像专用模型取得更优表现，说明其能够更充分地挖掘小样本医学数据中的有效诊断特征；在迁移学习场景下，SAViT0.17M训练参数，即可达到接近86.60M全参数微调模型的性能水平。结果一致表明：SAViT通过融合解剖先验、局部—全局协同建模与轻量化注意力设计，在有限医学数据和低参数迁移条件下实现了精度、效率与泛化能力的统一提升，为医学图像智能分析的低成本临床部署提供了新的技术路径。

图2：SAViT在3个医学图像模态上数据效率与参数效率方面的性能对比

期刊介绍：

IEEE Transactions on Medical Imaging （TMI） 是医学影像计算与分析领域的重要国际期刊，首期于1982年7月出版，长期关注医学成像、图像重建、计算机辅助诊断、医学图像分割与识别、人工智能医学影像分析等方向的高水平研究成果。该期刊由IEEE出版，是医学图像处理与医学人工智能领域具有广泛影响力的代表性期刊之一。

参考文献：

Yihang Liu, Ying Wen, Longzhen Yang, Lianghua He, and Mengchu Zhou. A General Framework for Efficient Medical Image Analysis via Shared Attention Vision Transformer. IEEE Transactions on Medical Imaging. doi: 10.1109/TMI.2025.3644949.

向刘艺航同学表示祝贺！

-- 计算机科学与技术学院 --

排版｜王婧雯 责编｜唐思卓 李如月

审核｜周微微 王晓文 审定｜吴晓培