医疗AI成果：增强现实显微镜可实时分析病理切片

【PConline资讯】深度学习技术近来在眼科、皮肤科、放射科和病理科等医学学科领域展现出了极大的应用前景，它可以帮助为世界各地的患者提供更加精准、可用的高质量医疗服务。Google近期也发布了一项研究成果，该成果显示，卷积神经网络检测淋巴结中的乳腺癌转移的准确率，可以媲美一名训练有素的病理学家。然而，目前为止，用复合光学显微镜直接观察组织仍然是病理学家诊断疾病的主要手段，如何将微观组织进行数字化展示成了深度学习技术在病理学科大规模应用的关键挑战。

今天，在美国癌症研究协会年会（AACR）的一个演讲中，我们通过一篇题为《增强现实显微镜实时自动检测癌症（正在审查）》的论文，介绍了一款增强现实显微镜(ARM)的平台原型，我们相信这款产品可以帮助加速深度学习技术在全球病理学领域的推广应用。

该平台由一个经过改良的光学显微镜组成，能够对图像进行实时分析并直接在用户的视野中显示机器学习算法的分析结果。

值得一提的是，只需使用低成本的、现成的元器件，就可以将这款增强现实显微镜改造成世界各地医院和诊所中常见的普通光学显微镜，而且无需对数字系统进行全面升级就能进行组织分析。

现代计算组件和深度学习模型——比如在TensorFlow平台上构建的模型，使得这个增强现实显微镜平台能够运行大量的预训练模型。和使用传统显微镜的方法一样，用户通过目镜观察样品，机器学习算法输出的结果将实时投射到光路中，叠加在样本的原始图像之上，帮助观察者快速定位和量化感兴趣的特征。而且，平台的计算和视觉反馈非常迅速——目前速度已经达到了10帧/秒，这意味着当用户移动组织或放大倍数做进一步观察时，可以获得流畅、无缝的视觉体验。

左图：增强现实显微镜的原理概述。一台数码相机捕捉到与用户相同的视场(FoV)，然后将图像传送给一个附加的计算单元，该单元能够运行实时推理的机器学习模型。随后推理结果被反馈到一个定制的AR显示屏，该显示屏与目镜内联，并将模型输出的结果与标本显示在同一平面上。右图：该图展示了我们的平台原型被改造成典型临床级光学显微镜后的样子。

理论上，增强现实显微镜可以提供各式各样的视觉反馈，包括文本、箭头、轮廓、热图和动画，而且可以运行多种类型的机器学习算法以应对不同的任务，比如对象检测、量化和分类等。

为了演示增强现实显微镜的功能，我们让其运行两种不同的癌症检测算法：一种用于检测淋巴结标本中的乳腺癌转移，另一种用于检测前列腺切除术标本中的前列腺癌。这些算法可以在4-40x的放大倍数下运行，并用绿色轮廓勾画出检测到肿瘤区域。这些轮廓可以帮助病理学家注意到感兴趣的区域，而不至于遗漏外观模糊的肿瘤细胞。

注：通过增强现实显微镜观察到的视图。这些图像展示了4x、10x、20x和40x放大倍数下的淋巴结标本。

虽然这两个癌症检测模型并非用增强现实显微镜直接捕获的图像进行训练的，但它们在后者上表现非常出色，无需额外的训练。我们相信，假如直接用增强现实显微镜获取的图像做进一步训练，这些算法的表现还将继续提升。

最初都是用来自一种光学结构完全不同的完整标本扫描仪的图像训练的，但他们在增强现实显微镜平台上的表现非常出色，无需额外的在训练。例如，淋巴结转移检测模型在增强现实显微镜上运行时曲线面积达到了0.98，前列腺癌检测模型的曲线面积达到了0.96，仅略低于WSI上得到的结果。

我们相信，这款增强现实显微镜将给全球卫生事业产生重大影响，尤其是在发展中国家的传染病诊断方面——包括结核病和疟疾等。此外，在即将采用数字病理工作流程的医院，增强现实显微镜也可以与数字工作流程结合使用。光学显微镜已经在很多行业已经证明了其价值，但在病理学领域作用有限。我们相信增强现实显微镜可以应用于医疗、生命科学研究和材料科学等众多领域。我们很高兴能继续探索这款增强现实显微镜，帮助加速机器学习技术在世界各地产生积极影响。