MR-DELTAnet：一种在局部晚期直肠癌中通过 scRNA-seq 揭示免疫微环境并预测病理完全反应的纵向 MRI-Transformer 模型

一、本文的研究思路

1、科学问题的提出与目标设定

针对局部进展期直肠癌（LARC）患者，探索如何通过非侵入性手段在术前精准识别病理完全缓解（pCR）者，从而辅助临床制定个体化治疗策略（如器官保留），并深入探究影像学特征背后的生物学机制。

2、纵向影像深度学习模型（MR-DELTAnet）的构建

• 时序特征提取：不同于传统的单点影像分析，本研究利用新辅助放化疗（NCRT）前后的配对纵向T2WI影像。
• 架构创新：引入Transformer架构和“Delta（差值）”模块，通过跨时间点的注意力机制（Cross-time attention）捕捉治疗过程中的动态肿瘤退缩特征。
• 样本均衡处理：采用动态数据增强、平衡批采样及改进的损失函数，解决pCR与非pCR样本量不均衡导致的模型偏倚。

3、多中心验证与模型评估

• 队列设计：采用包含4家医疗中心的超千人规模数据集。
• 性能评价：在内部和三个独立的外部验证集上，通过AUC、准确率、敏感度、特异度及校准曲线，全面评估MR-DELTAnet预测pCR的稳健性。

4、影像生物学机制的探索（Radiogenomics）

• 可视化解释：利用Guided Grad-CAM技术展示模型在影像上的关注区域，分析pCR与非pCR病例的退缩模式差异。
• 单细胞转录组关联分析：将模型预测评分与单细胞RNA测序（scRNA-seq）数据结合，对比高/低分预测组在免疫细胞组成、细胞间通讯及代谢通路上的生物学差异。

5、临床预后价值验证

• 生存分析：考察MR-DELTAnet评分与患者无病生存期（DFS）和总生存期（OS）的相关性。
• 独立因子检验：结合临床指标进行多因素Cox回归分析，验证其作为独立预后因子的能力。

二、本文的研究结果

> 1、临床特征分析

> 2、MR-DELTAnet 的预测性能评估

> 3、MR-DELTAnet 与临床信息及预后的关联

> 4、MR-DELTAnet 与单细胞免疫微环境的关联

三、本文的测序数据来源及样本情况；文中数据情况

1、影像学数据（MRI Data）

本研究基于一个名为 MR-DELTA-LARC 的大规模多中心队列：

• 总样本量：1026 例 LARC 患者。
• 中心分布：
  • 中心 A（中山大学附属第六医院）：663 例（作为训练集 464 例，内部验证集 199 例）。
  • 中心 B（中山大学附属第一医院）：110 例（外部验证集 1）。
  • 中心 C（云南省肿瘤医院）：163 例（外部验证集 2）。
  • 中心 D（广州市第一人民医院）：90 例（外部验证集 3）。
• 影像类型：两期配对的高分辨率轴位 T2 加权成像（T2WI），包括 NCRT 前（Pre-NCRT） 和 NCRT 后（Post-NCRT/Pre-Surgery）。
• 标签定义：以病理评估（TRG 0 或 Grade 0）作为 pCR 的金标准。

2、测序数据（Single-cell RNA-seq Data）

本研究引入了一个独立的单细胞验证队列（SCSC）：

• 数据来源：来自作者团队既往发表在 Nature Communications (2022) 的数据集。
• 样本规模：26 例 LARC 患者（均来自中心 A）。
• 细胞规模：包含 137,666 个高质量单细胞。
• 分析对象：包含 19 例 non-pCR 和 7 例 pCR 患者，涉及上皮细胞、T细胞、B细胞、髓系细胞、成纤维细胞等 9 大类细胞。

3、数据应用逻辑

• 影像数据用于模型的开发、测试以及与生存预后的关联分析。
• 测序数据用于“影像-生物学”映射，通过 MR-DELTAnet 对 26 例测序患者进行评分分层，揭示模型高分（预测 pCR 倾向）患者具有更强的免疫杀伤微环境（如高浸润 CD8+ T 细胞、增强的氧化磷酸化通路等）。

知识背景Guided Grad-CAM

在本文中，Guided Grad-CAM（Guided Gradient-weighted Class Activation Mapping）是一种关键的可解释性人工智能（Explainable AI）技术，用于揭示深度学习模型 MR-DELTAnet 在做出预测时，到底“看”了 MRI 图像中的哪些区域。

1. 技术定义

• Grad-CAM：通过计算模型预测类别（如 pCR）相对于最后一个卷积层特征图的梯度，生成热力图，显示图像中对预测结果贡献最大的区域（激活区域）。
• Guided Backpropagation：一种捕捉图像细节纹理的技术，能够显示哪些像素点对神经元激活有影响。
• Guided Grad-CAM：将上述两者结合。它既具备 Grad-CAM 的定位能力（告诉你在哪看），又具备 Guided Backpropagation 的高分辨率细节捕捉能力（告诉你看到了什么纹理）。

2. 在本研究中的具体用途

在模型完成对 pCR（病理完全缓解）的预测后，研究者利用 Guided Grad-CAM 进行了以下分析：

• 验证模型的逻辑可靠性： 通过生成的可视化图，研究者确认了 MR-DELTAnet 关注的区域确实集中在直肠肠壁、原肿瘤区域及其周边的系膜脂肪内，而不是图像中无关的背景（如骨骼或空气）。这证明模型学到的是真正的病理改变特征。
• 区分 pCR 与 non-pCR 的影像差异：
  • pCR 患者：可视化显示模型在治疗后的影像上，激活点分布在肿瘤退缩后的纤维化区域或正常的肠壁结构上，呈现出一种“成功退缩”的特征模式。
  • non-pCR 患者：模型往往会在治疗后影像中依然存在显著激活的区域（通常对应残余肿瘤或异常血流信号区），识别出那些“未完全退缩”的异常纹理。
• 跨时间点的特征分析： 由于 MR-DELTAnet 是纵向模型（输入治疗前和治疗后两张图），Guided Grad-CAM 帮助研究者观察模型如何比较这两个时间点的变化。例如，它能展示模型是如何通过捕捉“肿瘤体积缩小”和“信号强度变化（Delta特征）”来判定患者最终达到了 pCR。

3. 技术价值

• 打破“黑盒”：深度学习常被批评为不可解释。Guided Grad-CAM 为医生提供了直观的可视化证据，增加了模型在临床应用中的可信度。
• 辅助发现生物标记物：通过观察模型关注的影像细节，放射科医生可能会发现一些肉眼难以察觉但对预测 pCR 至关重要的细微放射学特征。

总结：Guided Grad-CAM 在文中扮演了“翻译官”的角色，将模型复杂的数学权重转化成了医生看得懂的“视觉高亮区”，证明了模型预测 pCR 是基于科学的解剖学和病理学变化，而非偶然的统计相关。

我们开发了 MR-DELTAnet，一个基于 Transformer 的医疗图像分析模型，用于利用治疗前和治疗后 MR 图像预测治疗反应。该架构集成了三个核心组件：

1. 交叉注意力机制通过计算相关矩阵对齐治疗前和治疗后图像特征，将焦点集中在与治疗相关的显著变化区域；
2. Delta 模块量化不同时间点的多尺度特征差异，以捕捉动态治疗效应；
3. 分类决策模块用于最终预测。我们通过动态数据增强和平衡批次采样解决类别不平衡问题，并结合自适应损失函数（结合类别平衡 Focal Loss 和跨时间对比正则化）来增强鲁棒性。

• 该模型使用 AdamW 优化器、分层学习率、随机深度正则化和基于 F1 分数的早停机制在超级计算集群上进行训练。消融研究系统地验证了每个组件对 pCR 预测的贡献（附录 S8, 支持信息）。
• 代码可在 https://github.com/WuLei-MedIA/mr_deltanet 获取

Flowchart of MR-DELTAnet