研究思路与结果_可解释的多模态深度学习改善多中心队列肝内胆管癌术后风险分层

空转和病理思路

一、本文的研究思路

1、锁定临床痛点，提出核心科学假说

针对肝内胆管癌（ICC）术后复发率极高（60-70%）且传统分期预测不准的现状，提出“融合多模态（影像+病理）数据可构建更精准的风险预测模型，并能通过多组学验证其生物学内涵”的科学假说。

2、构建多模态深度学习预测体系（ICC-PPS）

通过多中心队列收集患者的术前MRI影像（T2WI）和术后数字病理切片（WSIs），利用Transformer架构开发跨模态融合模型，将宏观影像特征与微观组织病理特征结合，输出复发风险评分。

3、多维度模型性能评估与外部验证

在内部训练集、内部验证集、外部多中心验证集以及前瞻性队列中，对模型的预测效能（AUC/C-index）进行全面评估，并与传统的TNM分期及单模态模型进行头对头对比。

4、可视化分析确定关键空间区域

利用深度学习的注意力机制（Attention Map）进行可视化分析，寻找模型决策的关键区域，从而发现“肿瘤-基质交界区（Tumor-Stroma Interface）”对预测复发具有最重要的贡献。

5、空间转录组学挖掘微环境分子机制

针对模型锁定的“肿瘤前沿区”，引入空间转录组技术（10x Visium），对比分析高、低危患者在该区域的基因表达差异，揭示上皮间质转化（EMT）及癌症相关成纤维细胞（CAF）的促癌作用。

6、蛋白质组学建立分子水平的“金标准”验证

利用TMT标记蛋白质组学技术，鉴定高风险患者在蛋白质水平的特征模块，构建蛋白评分（ICPS）与深度学习模型相互验证，完成从“形态表现”到“分子本质”的研究闭环。

二、本文的研究结果

> 1、ICC-PPS预测模型的构建及其在多中心验证中的卓越性能

> 2、ICC-PPS复发评分在预测患者总生存期（OS）中的临床价值

> 3、多模态特征融合在提升预测准确性中的贡献分析

> 4、基于深度学习注意力机制的复发相关关键空间区域定位

> 5、空间转录组学揭示肿瘤前沿区的免疫抑制与侵袭性分子特征

> 6、蛋白质组学功能模块分析及其与复发评分的关联性研究

> 7、蛋白质评分（ICPS）作为独立预后因素的验证及其对ICC-PPS的补充

> 8、前瞻性队列评估：ICC-PPS模型在术前辅助临床决策的潜力

三、本文的研究方法

1. 数据准备：

• 影像数据：从MRI T2-加权图像中提取放射组学特征。使用ITK-SNAP等工具手动分割肿瘤区域，由有经验的放射科医生进行ROI勾画。
• 病理数据：对HE染色切片进行数字化，获得全切片图像（WSI）。由病理学家注释肿瘤细胞区域，使用CellProfiler等工具提取病理组学特征，如细胞核形态、密度等。

2. 特征提取：

• 放射组学特征：使用PyRadiomics等工具从MRI图像的肿瘤区域提取纹理、形状和直方图特征。
• 病理组学特征：使用CellProfiler等工具提取肿瘤细胞核的形态学特征（如面积、周长、Zernike矩等）、强度特征和位置特征。
• 全切片图像特征：采用CLAM框架，将WSI分割成小块，使用预训练的UNI模型提取每个小块的特征向量。

3. 特征选择：

• 使用Spearman相关性分析、Cox多变量回归和近零方差过滤等方法筛选核特征。
• 对放射组学、核病理组学和H5特征进行主成分分析（PCA）降维。

4. 模型构建：

• 多模态Transformer分类器：将临床变量、病理组学核特征和小块WSI标记整合到统一的序列模型中。Transformer编码器作为主干网络，模态特定的轻量级全连接投影头将临床、放射组学/病理组学特征映射到共享嵌入空间，然后与WSI标记连接。应用位置编码和注意力掩码以保留排序并稳健地适应患者和切片中的可变长度序列。

5. 模型训练与验证：

• 使用训练集数据训练模型，并在独立的验证集上评估模型性能。
• 使用受试者工作特征（ROC）曲线和曲线下面积（AUC）等指标评估模型预测生存率的准确性。

6. 关联分析与模型解释：

• 使用空间转录组学和蛋白质组学分析来验证模型关注的显著区域，并解析空间生态位。
• 提取Transformer分类器的瓦片级注意力权重，并将注意力值与全切片图像上的相应瓦片坐标对齐，以可视化模型关注的区域。
• 进行单细胞和空间转录组学分析，研究肿瘤边缘的注意力机制，识别与肿瘤侵袭相关的基因和通路。
• 进行蛋白质组学分析，验证不同风险分层患者中转移和CAF相关特征的差异。

通过以上步骤，可以将影像和病理等多模态数据整合，构建预测模型，并通过多组学分析进行模型解释和验证，从而更全面地理解肿瘤的生物学机制，并为预后评估和治疗提供更全面的信息。