谷歌健康所谓的增强现实显微镜已经被证明在实时检测和诊断癌症肿瘤方面具有惊人的准确性。
该设备本质上是一个标准的显微镜,配备了两个额外的组件:一个摄像头和一台运行人工智能软件的电脑,该软件使用了英伟达(Nvidia)巨头Xp GPU来加速数据处理。摄像机连续拍摄置于显微镜下的人体组织图像,并将这些图像传递到计算机上的卷积神经网络进行分析。作为回报,神经网络会实时吐出图像中细胞的热图,在屏幕上标出良性和异常区域,供医生检查。
谷歌的专家们尝试使用该设备来检测乳腺癌和前列腺细胞样本中是否存在癌症。该算法在检测乳腺癌淋巴结癌和前列腺癌时的表现分值分别为0.92和0.93,其中1分为满分,所以对于他们所说的概念证明来说,这不算太糟。
本周发表在《自然》杂志上的一篇论文描述了该显微镜系统的细节。乳腺癌的训练数据来自这里,前列腺癌的训练数据来自这里。部分训练数据留作推理测试。
该设备是一个相当具有挑战性的系统:它需要一个处理管道,能够实时处理显微镜快照,分辨率高到足以捕捉细胞层面的细节。本实验使用的图像大小为5120 5120像素。这比目前常用的深度学习算法要大得多。深度学习算法有数百万个参数,仅处理300×300像素的图像就需要数十亿个浮点运算。
为了处理这些较大的图像,基于谷歌的Inception V3架构的卷积神经网络将这些图像分解成小块,并分别进行分析。在人类的帮助下,通过不同质量的图片来训练检测和分类癌细胞的技术也需要时间。所有这些都必须在推理阶段实时工作,以便对医生有用:他们想要尽快知道,而不是几小时或几天之后。
研究人员写道,延迟量化了ARM(增强现实显微镜)系统的绝对计算性能。虽然他们用它来研究癌症,但他们相信该设备可能会被证明对其他应用也有用。
除了临床应用,ARM还可以利用反向图像搜索工具作为教学工具,帮助学员快速搜索参考资源,并回答以下问题:我所看到的组织学特征是什么?更有经验的医生还可以利用ARM进行临床研究,前瞻性地验证人工智能算法的有效性,这些算法以前没有被批准用于患者护理,比如突变状态或微卫星不稳定性预测。
ARM的前景还有另一个原因。显然,它比传统的全幻灯片扫描仪便宜一两个量级。我们已经向谷歌询问了更多的意见。
领取专属 10元无门槛券
私享最新 技术干货