刚刚，中国完成首例AI+5G心脏手术！2分钟AI建模，400公里远程协作“补心”

转载自：新智元，未经允许不得二次转载

AI+5G，第一次成功完成远程指导下的心脏病手术。

刚刚，广东省人民医院与广东高州市人民医院共同上演一场直播“大片”：

高州市人民医院心外手术室里，医生主刀进行心脏腔镜手术；在相隔近400公里外的广东省人民医院，专家通过观看大屏幕上5G传输的实时超高清手术画面，对高州市的手术进行远程指导。

在这场手术前，医院使用到了自主研发的全自动AI去噪以及建模软件，一键完成建模，耗费时间从2-6小时缩短至两分钟以内，并自动生成3D打印机可识别的3D数字心脏模型（STL格式），直接用来打印出实体1:1心脏模型。

值得注意的是，手术的AI技术部分是由广东省人民医院特聘顾问史弋宇教授带领团队参与。史弋宇是圣母大学计算机系终身副教授，博士生导师，并兼任电子系终身副教授。

史弋宇

今年1月初，新智元报道过史弋宇教授被两名劫匪抢去汽车，在不到24小时之内，靠手机发动应用程序和“贪心算法”成功将车找回，新智元的读者应该有深刻印象。

这次参与全国首个AI+5G手术，史弋宇筹备了一年时间，手术成功也让AI在医疗领域更加落地。

患者情况：先天心脏病，心脏出现孔

接受AI+5G手术的是一位41岁的女性患者，据医生介绍，这名患者有先天心脏病，近期因“劳力性心悸、气促10余天”入院。经过心脏彩超和右心导管等检查发现，患者诊断为继发孔型房间隔缺损。

房间隔缺损本来是简单先心病，如果在小时候做开胸手术，操作上是相对容易，而且风险很低的。但是这位患者已经41岁，出现了重度肺动脉高压，开始出现心力衰竭，病情已经从简单先心病转变成复杂的成人先心病，简而言之心脏没有正常的发育，形成了一个缺损，就是我们所说的心脏里面出现一个孔。

模型演示患者的心脏中间出现一个孔（摄影：邱海龙）

这个孔的存在会导致病人心脏左心房的血会持续往右心房分流，加重右心房的整个心脏的负荷，也会加重肺循环的负荷，久而久之，心脏也就会持续扩大，肺动脉的压力也会持续的增高。

通过3D打印出来的1：1心脏模型可以看到，患者的心脏比正常人的偏大，而正常人的心脏大约有一个拳头那么大。

通过影像也可以观察到，患者的心脏占据了整个胸腔的2/3以上。

由于房间隔缺损一直伴随患者41年，错过了治疗的最佳时期，因此无法进行常规的心脏手术矫治，最严重的结果可能会导致心肺联合移植甚至是死亡。

同时，患者的心肺功能衰竭到已经出现症状，因此术中的操作必须仔细，心肌保护要到位，围术期的管理也是挑战，再加上是胸腔镜下做手术，对医生的手术操作是较大的考验。

准备阶段：AI三维建模只需2分钟

对于这次手术，广东省人民医院可谓用上了目前最热门的“黑科技”，其中多项技术均已申请专利进行知识产权保护。史弋宇教授负责参与AI部分，主要用于术前准备阶段。

1、图像压缩

医院把影像采集下来以后，要进行实时影像传输，史弋宇教授联合佛罗里达国际大学闻武杰教授先做一个面向机器学习的影像压缩，在数据接收端会自动对影像进行去噪，然后分割、建模。

影像压缩的出发点和传统的压缩（比如JPEG）不同，JPEG是针对人的视觉的，要保证压缩后没什么视觉上的损失。而该工作做的压缩是为了AI建模，不以人的视觉作为标准，而是针对计算机视觉的影像压缩。

通过压缩，接收的图像体积变小了，而且图像分割的准确度得到了提升，压缩率提升3倍，且能提升分割效果。

关于影像压缩的成果，论文将会发表在今年6月的CVPR上。

论文题目：Machine Vision Guided 3D Medical Image Compression for Efficient Transmission and Accurate Segmentation in the Clouds

2、AI去噪

在上面的图像压缩过程中，还包含了一部分去噪技术。因为这里的图像是用来建模的，所以在压缩的过程中，同时把一部分噪声也去掉了。在去噪方面，使用了注意力神经网络，能够集中注意到图像里的噪声。

史教授团队对每一例影像进行自动去噪，最后的结果直接进行自动建模，不需要人工干预。这样就可以把心脏的模型建成一个可3D打印的模型。

3、机器学习和传统计算机视觉的混合建模

对于结构性心脏病患者来说，他的心脏结构可能跟正常的心脏差别很大，所以史教授团队用了机器学习加传统计算机视觉的方法。对于心脏结构比较变化大的，用一些传统计算机视觉的方法；关于心脏的一些精细结构，使用人工智能与传统计算机视觉方法的混合架构。

整个心脏的三维建模时间大概是2分钟，而且准确度在先天性心脏病上也比传统方法的70%提升了12%。如果使用传统3D建模方法，大概需要几个小时时间。

这个模型的直接作用有两个。第一个作用是让医生在术前准备的时候，会把这个模型用3D打印出来，供医生在术前准备时参考，能够直观地看看患者心脏到底是什么样的，有些什么问题。

模型的另外一个重要作用是，让术中进行远程指导的医生，能够通过VR和MR技术，利用传输过来的实时影像以及之前的建模，能够实时、动态地指导目前的手术的进展。

在本场手术中，医院采用的是3D建模方法，指导心内手术操作非常直观；但是在某些情况下，比如一些急诊重症病人，来不及进行3D打印，就可以实时用VR的虚拟心脏来指导，也很直观。

下图可以显示AI在手术中起到的作用：

手术过程：VR演示补心术

准备工作之后是手术过程。

今天上午9点35分左右，手术正式开始。在广东省人民医院现场的大屏幕上（下图），有四个播放画面，从左到右分别是高州市人民医院、高州人民医院手术室、广东省人民医院、VR视频手术过程演示。

高州市人民医院手术现场

从现场播放的VR演示视频，我们可以看到整个手术过程。

手术开始前，先将患者右侧胸腔垫高30度。然后确定手术入路，即主操作孔、镜孔和辅助操作孔。

患者身上会插管连接体外循环机，就是通常所说的人工心肺机，后续进行身体降温之后，医生再灌注心机保护液，让心脏停下来，之后再进行心脏的探查跟房间隔缺损的修补。

下图是房间隔缺损修补术过程：

手术中最关键的环节有两个，一个是在心脏的Koch三角区，缝合时需要注意不要靠近这，以免引起心脏心肌损伤，导致心脏跳动的节律传导受到阻滞。

另一个是心脏的解剖结构要看得更清楚一些，修补房间隔缺损的“补片”要补得更大一些。

最后确认没有残余分流，修补完成，心脏复跳，止血关胸，手术完成。

现场经过近3个小时的手术后，4月3日12:55分，患者心脏复跳，手术成功！

5G比4G提速10倍，时延低于30微秒

手术现场的主刀医生为高州市人民医院的何勇医生，指导医生是广东省人民医院心外科的郭惠明医生。

根据官网介绍，何勇医生是高州人民医院副主任医师，每年完成心外手术达500例左右，手术量在华南地区处于领先，其中瓣膜替换术在400例左右，手术成功率达99%以上。

高州市人民医院虽然在心外科也有很多经验相对比较成熟，常规心外科手术都能做，但以前这类手术主要是采取大切口的开胸手术来做，微创的腔镜手术做得不多。

这场手术是做微创腔镜手术，患者开刀3-4厘米，对医生的要求更高，会有一定的难度，因此需要广东省人民医院的指导支持。

郭惠明是广东省人民医院主任医师、心外科副主任，擅长微创胸腔镜手术，在手术治疗二尖瓣成形或置换、先天性心脏病、房颤和冠心病的杂交治疗方面处于国内领先水平。

（图据广州日报）

地图显示，高州市人民医院距离广东省人民医院将近400公里，但现场画面没有明显时延。传回现场测试结果，整体网络速度与4G相比提速10倍，时延低于30微秒，几时就是同步的。

在现场，高州人民医院主刀医生还询问：“心包是否在这里打开？”位于广州的郭惠明立即回答：“上移3厘米。”

目前，广东省人民医院已经跟广东移动、华为合作，实现5G全覆盖，室外网络由4G跨越到5G，用户体验速率由80Mbps提升到800Mbps，达到与有线光纤网络相当的体验。

对于AI，虽然近年来人工智能在医疗领域取得了飞速进展，但在实际临床中的应用却非常有限。其中一个主要的原因就是人工智能还缺乏足够的可信度和可解释度来完全取代医生进行自动诊治。

史弋宇说，团队目前阶段主要着眼于人工智能在医疗系统中的辅助作用来帮助其尽快落地。例如在本次远程手术指导中采用到的面向人工智能的图像压缩传输，智能影像去噪，以及智能心脏建模，都是以为医疗专家更方便，更快捷，更准确的诊治为目标。

（本文特别感谢广东省人民医院黄美萍和邱海龙医生的支持！）