影像组学多模态模型预测肺癌新辅助免疫化疗 作者开源模型 可以用于自己研究中直接提取特征或者经过微调后再提取特征

2024年一项发表于《Journal for ImmunoTherapy of Cancer》的多中心研究显示，通过术前平扫+增强CT构建的深度学习模型（LUNAI-fCT），可无创、精准预测患者病理完全缓解（pCR），为临床决策提供重要参考。

作者预训练的肺癌CT专用基础模型FM-LCT(https://github.com/zhenweishi/FM-LCT) 已经开源，可以用于自己研究中直接提取特征或者经过微调后再提取特征

A.png

一、数据来源

多中心回顾性队列，覆盖113例训练+112例外部验证 本研究为回顾性多中心研究，纳入2019年8月至2023年2月期间，国内4家中心（A、B、C、D）接受新辅助免疫化疗后手术的NSCLC患者。

纳入标准：经病理证实为NSCLC（IB-III期），完成至少2周期新辅助免疫化疗，术后有完整病理评估，且有术前平扫及增强CT图像。

排除标准：CT图像缺失或质量不佳、CT检查距治疗开始超过1个月、临床病理资料不全。 最终，113例患者来自中心A（按8:2划分为训练集与内部验证集），112例患者来自中心B（73例）、C（20例）、D（19例）作为外部测试集，确保模型的外部泛化能力。

B.png

二、模型构建：从CT图像到预测模型，四步实现精准特征挖掘

1. 数据预处理：标准化图像，确保特征一致性

• CT图像规格：纳入层厚0.625-1.25mm的平扫（non-contrast）和增强（contrast enhanced）CT，增强扫描使用350mg/mL非离子碘造影剂（60-80mL，注射速率2-3mL/min）。
• 预处理步骤： 体素重采样：通过B样条插值将图像统一为1mm各向同性体素，消除层厚差异； 强度归一化：采用z-score方法标准化CT值，减少不同设备的扫描偏差。
• ROI分割：由放射科医生与胸外科医生联合使用ITK-SNAP软件手动分割肿瘤区域（ROI），随机抽取50例样本计算组内相关系数（ICC≥0.75），证实分割可靠性。

2. 特征提取

采用肺癌CT专用预训练基础模型 FM-LCT(https://github.com/zhenweishi/FM-LCT) 提取深度特征。该模型通过掩码自编码器（MAE）对比学习算法，在大规模、多类型肺癌CT数据集上训练，可自动捕捉肿瘤异质性、血管生成等关键生物学特征。

• 从平扫CT中提取768维特征向量（FS-uCT）；
• 从增强CT中提取768维特征向量（FS-eCT）；
• 融合特征（FS-fCT）：对FS-uCT和FS-eCT进行平均池化，整合两种模态信息。

3. 模型训练：降维+随机森林，构建三种预测模型

• 特征降维：采用主成分分析（PCA）对上述特征降维，保留16个PCs，减少冗余信息并避免过拟合；
• 模型构建：使用随机森林算法分别构建 LUNAI-uCT模型（仅平扫特征）； LUNAI-eCT模型（仅增强特征）； LUNAI-fCT模型（融合平扫+增强特征）

C.png

三、模型结果

融合模型性能最优，AUC达0.866 在外部测试集（112例）中，三种模型的表现如下：

融合模型（LUNAI-fCT）的Immu-TR评分（预测pCR的概率）在pCR与非pCR组间差异显著，Kolmogorov-Smirnov检验KS值达0.825（P<0.001），提示其区分能力优异；

亚组分析（按年龄、吸烟状态、临床分期）显示，融合模型在各亚组中均保持稳定性能。

模型解释

用SHapley Additive exPlanations（SHAP）分析量化各CT特征对预测的贡献；

• 通过梯度加权类激活映射（Grad-CAM）生成显著性热图，直观展示模型关注的肿瘤区域（主要为瘤内及瘤周环境）。 下图两例临床特征相似患者（相同TNM分期、吸烟状态、病理类型、病灶位置等）的Immu-TR评分实例：
• 患者A的Immu-TR评分为0.791，病理证实达到pCR；
• 患者B的Immu-TR评分为0.213，病理为非pCR；
• Grad-CAM显著性热图显示，模型提取的深度学习特征主要来自肿瘤内部区域，直观解释了预测依据。