实时临床增强现实和人工智能框架技术用于大脑中疼痛检测和定位的可行性

多年来，临床医生一直在寻求通过神经影像技术寻求疼痛的客观评估解决方案，重点就是通过大脑来检测。不幸的是，大多数技术不适用于临床环境或缺乏准确性。本研究测试一个基于移动神经影像的临床增强现实（AR）和人工智能（AI）框架（CLARAi）的可行性，直接从患者大脑进行客观检测和实时定位疼痛。

背景

准确的疼痛评估对于各种急性和慢性疼痛状况至关重要，可以提供正确的诊断和治疗，尤其是当患者表达即时痛苦存在困难时。疼痛领域通过使用疼痛调查表和量表（例如，麦吉尔疼痛问卷和面部评定疼痛量表）对疼痛进行量化而得到了发展，它们较普及、有用及方便。但是，主观报告仍有局限性，尤其是这些工具不能在患者沟通受损的状态或手术期间使用，包括最小意识障碍或认知障碍。为了解决这些局限性，研究人员已开始使用神经影像学来分析疼痛的神经学特征。但是MRI扫描仪和其他传统的神经成像工具的尺寸限制了其在临床科室中的使用。而fNIRS（功能近红外光谱）可检测含氧血红蛋白（HbO）和脱氧血红蛋白（HbR）的浓度变化，类似于fMRI 中血氧水平依赖的信号（BOLD）。它透过颅骨无创地测量波长在700至1000 nm 之间的近红外光的吸收。因此，与fMRI相似但更具技术优势的fNIRS（功能近红外光谱）这种便携式神经成像设备，为研究人员在手术和临床环境中监测、定位和分析功能性大脑活动提供了便利

方法

数据采集

招募了 21 名牙齿过敏的参与者（8 名男性；年龄：平均 27.6，SD 3.5 岁）。我们从热刺激过程中收集了神经影像数据。在本实验中，参与者进行了20次热刺温度探头从32℃循环到 0℃ ，速率为–2℃/秒。当达到临床疼痛时，受试者通过单击电脑鼠标来控制冷却装置，从而停止刺激。数据是使用 TechEN-CW6 fNIRS（美国马萨诸塞州米尔福德）的系统以20 Hz的采样率采集的。该设置包括8个近红外发射器和28个间隔3 cm 的检测器，产生了在双侧前额皮质（PFC）和初始躯体感觉区皮质（S1）部署的 40 个数据通道。该检测器组是基于国际 10-10 经颅定位系统并通过自动解剖标记数据库进一步验证。收集的原始数据通过两步数据质量控制步骤进行了检查，并通过带通滤波器在0.01-0.3 Hz 下进行了过滤，然后转换为 HbO 和 HbR 浓度变化数据。

在本研究中，采用了 2 个实验来测试疼痛/无痛预测以及左/右疼痛定位的可行性（图 1)。此外，进行了第三项基于 AR 的数据可视化终端的实验，图2显示完整的研究框架。

实验一：疼痛检测

该实验的目的是测试在患者个体水平上预测疼痛/无痛的可行性。分别在 3 个不同的深度分别测试了卷积 NN（CNN）配置，分别是7层（CNN-7），5 层（CNN-5）和3 层（人工 NN，ANN），以评估它们在相同数据集上的性能（图 1)。此外，考虑到 fNIRS 时间序列内可能存在的时间联系，还在数据集上测试了递归神经网络和长短期记忆网络。

实验二：疼痛定位

该实验的目的是进一步测试合并/置换患者数据（分别从患者3和19分别收集的左/右数据）上左/右疼痛和无痛状态预测（3 级分类）的可行性牙齿刺激）。通过沿时间过程随机包含和排除数据立方体来排列合并数据。测试了实验 1 中应用的所有网络，此外还对 I 型数据立方体上的 6 层 CNN（CNN-6）进行了测试，并对时间序列进行了自定义实时归一化算法。

实验三：增强现实-使用增强现实和人工智能进行疼痛可视化和解码

使用 AR 设备 HoloLens（Microsoft，WA，美国）为框架开发了一个显示终端。AR 是一种基于计算机视觉的技术，通过向其添加虚拟和数字信息层来扩展我们的真实世界。在这项研究中，从患者大脑皮层多个感兴趣区获得的功能性血流动力学反应数据被无线传输至 HoloLens 设备。之后，在软件建模的大脑模型上实时显示正在进行的患者的皮质功能变化。在这项研究中，首先将 40 个数据采集通道注册到 MNI 152 非线性大脑模板中。之后，使用该软件根据来自NIRS 设备的传入数据，使用注册的功能区重建了该虚拟大脑，以显示和调整其外观。此外，该软件通过将正在进行的结果映射到 AR 视图领域内虚拟重建的数字人体上，对来自实验 1 和实验 2 的大脑活动进行解码并显示其在临床疼痛/无痛状态和定位方面的活动。此外，还使用具有 16 个源密度检测器的 NIRSport fNIRS 系统（NIRx，NY，美国）实时测试了志愿者在进行中的皮质活动的 CLARAi 展示，以促进我们在实际临床环境中使用CLARAi 概念。

结果

实验 1 和 2

在 21名参与者中，12 名数据进一步预处理以进入实验 1的可行性测试（表格 1)。在这 12 名参与者中，总共有180,580个数据立方体。在这些立方体中，将 23900（13.24 ％，23900/ 180580）标记为疼痛，将156680（86.76％，156,680 / 180,580）标记为无痛。

在实验 2中测试了 2 位参与者的数据；总共有 30,820 个数据立方体，其中 2000 个（6.49％，2000 / 30,820）标记为右侧疼痛，2000 个（6.49％，2000 / 30,820）标记为左侧疼痛，26,820（87.02％，26,820 / 30,820）标记为没有疼痛。

图 3 分别显示了从患者 3 收集的疼痛和无痛状态下所有通道的代表性平均 HbO 和 HbR 反应。

在分割的数据历史段上执行的 ANN 取得了最佳结果，预测精度为 80.37％145210 / 180580，PLR 为 2.35（灵敏度= 0.326，特异性= 0.861）。

对具有重加权损失功能的拆分数据历史记块执行的 ANN 在 0.409 和 0.801的特异性下获得了最高的灵敏度，在 PLR 为 2.06 的情况下。

此外，CNN-7 的特异性最高，为 0.896，PLR 为 1.39，灵敏度为 0.144。有关不同网络设置的实验 1 的详细性能摘要，见表2。

此外，在以下内容中列出了按患者分类的准确性表格 1。3 类预测使用 CNN-6 实现了 74.23％（1040/1401）的最佳分类精度，PLR 实时为 2.02，而CNN-7 的灵敏度最高为 0.540，PLR 为 2.48。

实验 3

图 4 显示了开发的数据显示界面“ HoloBrain”。在 MNI152 脑模板上实时显示和更新收集的功能性 HbO 和 HbR 数据。通过 HoloLens将 3D 虚拟大脑激活图像叠加到参与者的头部上。除了 3D大脑激活功能之外，动画人体还带有红色区域，表明并排预测了疼痛区域-左侧或右侧颅颌面区域。

结论

在这项可行性研究中，我们使用直接从双侧 PFC 和 S1 皮质收集的 fNIRS 数据，组装了该模式以进行客观临床疼痛预测的数据监测。根据实验三部曲， CLARAi 模型不仅从空间模式中获取了信息，而且还通过从每个数据帧中追溯多达 10 秒的数据历史记录来获取数据中的时间顺序，从而获得了临床疼痛预期与实时的疼痛体验。在实验1中，在不同的重组大脑激活数据上测试了多个神经网络，以预测疼痛和无痛状态。考虑到 fNIRS 成像的相对较高的空间分辨率，在实验 2中，进一步测试了定位疼痛的可行性。结合疼痛预测模块，我们为该框架开发了基于临床 AR 的数据显示界面。在这样的框架下的真实临床环境中，临床医生可以客观地更好地了解以确定患者何时何处遭受痛苦，特别是当他们无法表达自己的痛苦时。

本研究中所有选择的数据预处理，分类，传输和显示方法都可以实时实现。但是，CLARAi框架尚处于初始阶段。这项工作的未来改进包括：（1）在数据采集过程中潜在地添加短间隔通道来更好地建模干扰生理信号来优化框架敏感性。（2）将当前特定于参与者的模型扩展为具有以下特征的通用模型：仅需要个性化以精确适应每个患者变化的学习能力。（3）进一步扩展模型以适应其他类型的疼痛状况和神经系统疾病，包括抑郁症和焦虑症。总之，我们测试了基于移动神经影像的临床AR和AI（CLARAi）框架原型在临床环境中实时进行客观疼痛检测和定位的可行性。这种框架根据我们的数据研究中的大脑状态预测何时何地存在身体疼痛，并实时交互显示神经影像数据。尽管仍然需要进行大量的验证工作，但CLARAi框架可能在医生诊室将患者的躯体痛苦精确显示变成现实，“所见即可信”。

“神麻人智”点评

AI（Artificial Intelligence，人工智能)目前在临床医疗使用较多的主要有四种：一是智能影像；二是智能语音；三是医学机器人；四是临床智能决策。智能影像和智能语音，基于医疗图像和语音识别技术发展起来，由于医学影像资料获取门槛较低且更有可能作为标准化，所以智能医学影像目前发展最为成熟，临床接受度也最高，只不过仍然不属于医疗最核心领域。那么“医疗影像+AI”最早涉及、最主流应用范围在疾病筛查和辅助诊断，另外还有病理分析、医学图像的后期处理、放疗部位靶区勾画以及青少年生长发育评估等。

不同于VR（Virtual Reality虚拟现实），AR（Augmented Reality增强现实）技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。简而言之，就是将大脑活动数字化，转化为客观的可视化场景，方便医生诊疗。由此可见，AR是AI的载体，AI为AR提供内容和技术支持；AR不仅是AI视觉技术的重要应用形式，也是打通虚拟世界和现实世界的重要手段。

上述研究，将一套AR+AI的医疗技术相结合，研究者对患者牙齿施加疼痛或无痛刺激，通过便携式光学成像仪测量皮质活动，然后基于多个神经网格模型进行解码分析，从而计算出疼痛感知等级，区别疼痛和无痛。研究中特别提到：在疼痛客观测量及其监控领域，“AR+AI ”也可以起到积极作用。不过我们同时看到该研究只是在一个非常细化领域，即口腔科的“牙痛”，由于实验样本量较少，没有大量的样本集去训练算法，且缺乏更多资深的医师参与样本的标注，这也许也会影响AI算法的准确率和临床医学的实用性。但是该研究也启发我们是不是可以推广到其他疼痛相关领域，如慢性疼痛、抑郁症和焦虑症等关联的躯体不适。同时我们还可以设想：上述技术与镇痛干预技术的紧密结合也可以构成镇痛闭环系统，实时缓解和消除疼痛等等，这些还有待于我们去进一步研究。

随着AI技术的成熟，尤其在深度学习理解能力的进展，未来大量深度学习平台及框架开源会进一步降低算法实现的技术门槛，这些开源包大幅降低了应用深度学习算法的难度，再加上算力和数据的不断完善，将有助于我们更多更好更深入的用于大样本研究，进一步加快AI在医疗领域的应用。

编译：林晓茹 述评：孙大健

（公益支持）

（向上滑动查看内容）

“神麻人智”系列回顾：

30.基于机器学习的多模态神经影像学与自主神经活动参数或可预测疼痛

点一点，长头发