模拟人类医生，自动生成靠谱医学报告，腾讯医典创新方法入选CVPR 2021

近日，全球计算机视觉三大顶会之一的 CVPR（IEEE 国际计算机视觉与模式识别会议）公布了 2021 年度的论文录用结果。腾讯医典 AI 与北京大学合作完成的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，凭借在医学图像报告自动生成领域的研究突破成功入选。

医学图像被广泛应用于诊断参考，基于肺部 CT 的新冠肺炎诊断也在疫情期间成为防控的关键。在医疗实践中，医生需要针对医学图像按标准撰写和输出医学报告。

面对庞大的患者数量，为所有的图像逐一撰写报告占据了医生大量工作时间。不同医生的经验差异也使得部分图像中的异常被忽略，无法体现在报告中。如何借助人工智能快速、准确地自动生成报告，对于提升医生工作效率和服务质量具有重要的实用价值，也成为了近年来医学图像研究领域中的一个重要课题。

然而，先进的医学图像报告自动生成系统也很容易受到医学图像报告中的数据偏差误导。本次腾讯医典 AI 入选的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，创新地提出了后验-先验知识探索及蒸馏（PPKED）框架，模拟人类医生的判读方式，结合先验和后验知识来生成报告，以提高最终生成的医学报告质量，针对性弥补了这一不足。

方法

模型框架。

模型中的先验探索（PrKE）模块可以通过预构建包含心脏肥大、脊柱侧弯、钙化点、肺炎等常见异常特征信息的知识图谱，模拟医生学习过的医学知识，以更好地识别出各种图像中的异常。

另一方面，通过在训练集中匹配、提取已知的相似图像和报告，可以与病人的历史报告做比对参考，模型亦在一定程度上模拟了医生根据自身丰富的经验来做决策的过程，实现利用先验知识来指导报告的生成。

后验探索（PoKE）模块可实现将当前图像进行标签分类，模拟医生找寻图像异常的过程，大致框定异常的区域，提醒医生针对该区域做进一步识别处理。

在经过多领域知识蒸馏（MKD）模块的综合过滤后，先验和后验知识可以生成最终的报告。

这一创新模型在 IU-Xray 和 MIMIC 两个国际公认的公开数据集上取得了比以往所有同类模型更好的结果，可以有效地生成更高质量的报告。

总结

医学图像报告自动生成模型的论文登上人工智能领域第一的行业会议，是腾讯医典在人工智能领域的又一次深入探索。

腾讯医典 AI 团队专注于医学知识图谱、医学自然语言理解、多模态深度学习等领域的研究，将持续在医学知识生成和推送、人工智能辅助诊疗等领域向行业输出切实可行的解决方案和领先技术，用科技提升医疗服务效率，助力医疗行业的数字化转型。