SCIENCE ROBOTICS：一种供四肢瘫痪患者使用的基于混合EEG/EOG信号的非侵入式脑/神经手外骨骼装置

请点击上面“思影科技”四个字，选择关注作者，思影科技专注于脑影像数据处理，涵盖（fMRI,结构像,DTI,ASL,EEG/ERP,FNIRS,眼动）等，希望专业的内容可以给关注者带来帮助，欢迎留言讨论，也欢迎参加思影科技的其他课程。(文末点击浏览）

四肢瘫痪，双臂和腿的运动功能丧失，通常是发病率1/10000的外伤性颈脊髓损伤(SCI)引起的。尽管SCI与较低的预期寿命和生活质量有关，但它通常会影响到年轻的个体，导致他们失去独立和自主能力。这类人群最迫切的需要的就是恢复手和手臂功能。尽管SCI仍然是一种无法治愈的疾病，但BMIs(brain-machineinterfaces;脑-机接口)的发展最近激起了人们的希望，即通过一套绕过受损的脊髓的系统，有望恢复重度瘫痪患者的独立性和自主性。特别是，重复使用基于BMI系统可能会有助神经功能的恢复。BMIs将电、磁或脑代谢活动(例如，与伸手和抓取相关联的活动)转换成外部机器、外骨骼或机器人的控制信号。由于心理意向(例如双手合拢)会导致由机器人装置或外骨骼在这样的范例中执行实际的手动闭合运动，因此通过BMI来控制非常直观。

植入式BMIs已被证明可以很好的控制机器手臂，但所需的开颅手术会带来更多的风险。因此，植入式BMIs更适合完全瘫痪的病人。

迄今为止，我们还未发现有患者在实验室外使用BMI来执行ADLs(activitesof daily living;日常活动)的报告研究，例如在外面的餐厅里吃一顿丰盛的饭。主要障碍是脑电的非平稳性和对环境干扰的敏感性。因此，有人已经提出了将BMI技术与其他生物信号，如眼电相结合以改善系统控制性能的混合系统。先前的研究表明，脑电(EEG)和眼电(EOG)相结合可用于健康志愿者在实验室条件下的手外骨骼控制。这种方法在四肢瘫痪后的实际环境中恢复手部功能的价值尚不清楚，目前也还没有有效的治疗方法。来自德国图宾根大学医院的研究者在著名期刊SCIENCE ROBOTICS 发表了一项实验性研究，对该问题进行了探索，并展示了6个患有颈脊髓损伤的四肢瘫痪患者完全独立的ADLs的恢复。

研究参与者使用一种非侵入性大脑/神经手部外骨骼(B/NHE，即通过大脑中神经信号对外部机械手骨骼进行控制的装置)，它将带有抓取意图的脑电信号转换为实际的外骨骼驱动的手闭合运动，将与自发水平眼动[水平眼球运动(HOVs)]相关的EOG信号转换为控制外骨骼驱动手张开运动(图1和图2)。参与者被要求执行自发的伸手和抓取动作，采用多伦多康复研究所-手功能试验（TRI-HFT）评估使用B/NHE（大脑/神经手部外骨骼）系统和不使用B/NHE系统被试操纵物体的能力。在实验结束后，每个参与者对执行ADLs(日常活动)的可靠性、耐受性和实用性进行评级。

材料和方法

被试

六名患者对BNCI（大脑-机械交互式仪器）完全没有经验的颈椎损伤参与者被邀请到古特曼神经康复医院参加开放试验(男性5人，平均年龄30±14岁)，其中3名为瘫痪完全[ASIA(American Spinal InjuryAssociation)等级，3名为不完全等级[ASIA等级A、B和C]根据以下标准选择参与者：

ASIA损害量表A、B、C级(下肢运动评分<20)；根据ASIA，颈椎损伤程度从4级至7级(c4至c7)；非怀孕、非哺乳女性；年龄在15至65岁之间；自SCI起至少12个月。排除候选人标准：SCI以外的严重神经损伤史(例如多发性硬化、脑瘫、肌萎缩侧索硬化症、创伤性脑损伤或中风)、并发其他医学疾病(例如感染、循环系统、心脏或肺疾病)干扰研究、脊柱不稳定或骨盆骨折、严重痉挛(≥4级)或不加控制的阵挛、诊断严重骨质疏松/骨质疏松、精神或认知疾病可能干扰试验，以及无法提供知情同意的。

在应用B/NHE之前，所有参与者都进行了彻底的临床检查，包括SCIM和FIM运动分量表的评估。而SCIM评估在三个域上执行常规ADLS的总体独立性和能力，其中包括了室内和室外活动。FIM运动量表反映了有效执行基本运动相关ADLs(日常活动)的护理负担（如饮食、美容或穿衣）的护理负担。

BNCI 系统

所有参与者都坐在轮椅上，根据国际10/20导系统，选中5个常规脑电记录点(F3、T3、C3、P3和 Cz )记录EEG信号。将参考电极置于 FCz，将接地电极放置在 Fz 处。以200Hz的采样速率记录数据，在0.4到70Hz下进行带通滤波。在先前的研究的基础上，使用了surface拉普拉斯滤波器，这种滤波器在从远距离源(例如肌电图活动、眼睛运动、眨眼或其它阿尔法节律源)衰减活动的同时检测焦点SMR-ERD(EEG sensorimotor rhythm event-related desynchronization，感觉运动相关事件节律脑电的去同步化)显示出了其它方法无法与之相比的优越性能。

EOG从右侧眼角的的标准EOG记录点记录。利用BCI2000软件平台将生物信号转化为外骨骼的控制信号。计算了与右手抓取运动有关的SMR-ERD参考值(RV)。RV的计算包括总共42项试验，每项试验持续5秒，然后是4秒的试验间隔，在此期间参与者是不活动的。SMR-ERD检测的最佳频率[感兴趣的频率(FOI)]被设置为在8~13 Hz范围内的预定运动期间显示最高SMR-ERD频率。在SMR-ERD的在线分类中，采用了±1.5Hz的频率滤波器。根据另外42项试验计算了移动启动和执行的检测阈值，在此期间参与者收到了SMR-ERD的在线视觉反馈。检测阈值设置为高于平均SMR-ERD两个SDs（标准误差）处，用于B/NHE在线控制。脑电活动必须超过SMR-ERD检测阈值至少1.5s以实现完全闭合运动。下一步，参与者眼前将会出现一个十字交叉，接着他们被要求进行20次最大范围的眼球向左或右移动(HOVs)，同时记录EOG。在日常生活的环境中，通常不会出现过多的这种眼球动活动，因此它们对意外事件的特异性很高。HOV检测阈值设置低于最大HOV期间记录的平均电信号的两个SDs。如果EOG信号超过这个阈值，则手部外骨骼停止并移动到一个开放的位置，而停止手闭合运动1.5s(图2，A和C)。系统需要大约9分钟进行校准。

实验结束后，参与者表示校准过程简单。为了评估和验证EEG和EOG信号转换为外骨骼驱动的手打开和闭合运动的可靠性、计算了每个参与者的平均SMR-ERD值以及假阳性率(FPRs)，即被HOV（眼球向左或右移动）打断的由外骨骼驱动的手闭合运动的次数。

手部外骨骼

采用电池驱动的电子机械矫形器对拇指和食指进行主动辅助。该系统由固定在用户手指和手背上的可穿戴和轻量级铰接式部件以及带有多个电动机和电源/电池单元的远程驱动块组成。通过嵌入基于被动DOF（degree offreedom，自由度）的诸如电缆驱动的欠驱动、增强的适应性以及单个手形的顺应性，以及补偿关节轴错位的自对准机制，本研究中使用的手外骨骼的设计力求最大限度地发挥功能DOF(fDOF)和人类运动学兼容性、可穿戴性和便携性。

可穿戴部分的部件由钛合金组成，并被布置为一个提供被动和主动自由度的符合人体工效学的多功能装置，允许手指的运动驱动和对齐到个人用户的人体测量。四个DOFs(自由度）在系统中被独立激活：两个用于食指屈曲，一个用于拇指屈曲，一个用于拇指反向运动。手上的系统总重量为438克。命令动作是通过柔性电缆护套系统从驱动块发射的，所有的活动DOF都是双向驱动的。根据先前对ADLs(日常活动)中不同抓取姿势和手的协同作用的相关性的评估，为每个参与者设定运动轨迹，大于3cm的物体(例如，苏打罐、海绵或手机)使用手掌握持，小于3cm的物体侧向捏住。驱动模块嵌入了七个有刷直流电机齿轮(其中四个用于研究)，其提供一个独立的运动源，并施加了最大5N力。通过自定义电流伺服放大器，对电机轴和直流电机采用两种位置闭环控制。使用运行实时操作系(National Instruments, Austin, TX)的NI单板RIO提供实时控制。执行器和外骨骼效应器之间的机械耦合是通过沿着用户右上肢引导的可锁定的配对绞盘滑轮提供的。这确保了由于固定在上肢的部件而对手和手臂运动的最低限度限制，控制箱和电池单元(提供长达6小时的能量供应)存储在轮椅座位下，四肢瘫痪者能够在实验室外使用B/NHE（大脑/神经手部外骨骼）。

初步结果和安全性测量

为了量化应用B/NHE（非侵入性大脑/神经手部外骨骼）前后手部运动功能的差异，分别对没有B/NHE（基线条件）和参与者佩戴B/NHE（介入条件）的情况下，进行TRI-HFT评估（评估抓取和操纵不同重量、形状、表面和纹理的各种日常生活物体的能力）。在B/NHE连接到参与者身体之前和之后大约30分钟进行TRI-HFT，并由两个部分组成，共19个子测试（第1部分，10次试验；第2部分，9次试验），其权重相等。第一部分包括对不同物体的操作，第二部分测量手掌抓取的强度和稳定性。测试由职业治疗师或医生依次进行和指导。在每次试验之前，管理员演示了个人应该执行的任务的正确标准。执行任何试验的时间不受限制，如果参与者认为不能够更好的完成任务，则可以请示结束试验。一台摄像机以45°角放置于参与者前，高度约为1米。所有试验过程都被拍摄下来，并储存录像以供进一步处理和评估。

在测试第一部分中，使用了以下10个物体：一个杯子、一本书、一个罐子、一个等腰三角形海绵、一个无线电话、一张纸、一个装满五个高尔夫球的塑料袋、一个骰子、一张信用卡和一支铅笔。这些对象的抓取和操纵从0（“不可能移动可能”）到7（“参与者能够触及、掌握和提升物体完全脱离支撑表面，并使用主动抓取适当/正常功能操纵物体”）的比例进行评分（有关评分规模的更多详细信息，请参见表2）。测验的平均分数小于4分(对应于≤76的TRI-HFT总平均分数)表示无法操作大多数测试项目；平均分数为6分及以上(相当于TRI-HFT总平均分数≥114)，表明各子测试的对象操作成功。

在测试的第二部分，使用了以下物体：九个长方形木块、一个装有仪器的圆筒、一张附在测力计上的信用卡和一个木条。而抓取、举起和操纵木块则反映了手掌抓取的能力和力量(也被定级为0~7)，后三项测量的是抓握所能达到的扭矩力以及参与者在使用和不使用手外骨骼时所能承受的偏心负荷。由于第二部分的后一组分在以牛顿被单位，并不能反映操纵日常生活物体的能力，而是反映机动化的手外骨骼所施加的力，所以这部分没有作为主要的衡量标准。TRI-HFT最高分为133分(part 1, 70;part 2, 63)。

在测试过程中，将物体放置在距参与者20至30cm距离处的桌子上。参与者被要求拾取物体，将其完全抬离支撑表面，握住并操纵它，并将其放回桌子上。当需要时，参与者可以中断试验，出现任何危险，B/NHE都可由实验者和参与者使用红色紧急按钮中止（图2B)。掌握和操纵每个TRI-HFT（评估抓取和操纵不同重量、形状、表面和纹理的各种日常生活物体的能力）项目的能力由两名独立专家（理疗师和医师）评定。每个人的TRI-HFT分数是通过所有评分者的平均数计算得出。针对每个子测试和测试的每个部分计算参与者的SD。TRI-HFT是唯一有效的临床评估工具，它包括日常生活对物体的操作以及SCI后的灵巧性和强度测试，因此认为TRI-HFT特别适合于本研究。提供优良的可靠性(r=0.98)，TRI-HFT反映了个体完成不同阶段抓取任务(即到达和掌握、提升和操作)的能力。

B/NHE在实验室和室外的应用

在安装B/NHE之后，要求参与者在实验室之外活动执行ADLs任务，包括抓取瓶子并喝水、抓取叉子并进食、抓取和处理信用卡、吃薯片、或用笔签署文档的各种任务。整个实验持续约3.5小时。

在实验结束时，参与者被问到在执行ADLS(日常活动)时是否认为使用该系统是可靠和实用的，并询问他们在实验期间所经历的任何副作用或不适。在这之后，与参与者头部和手臂相连的B/NHE的所有部分都被移除。

数据分析和统计

对每个参与者的TRI-HFT评分进行评估，并进行组间平均。为了检验应用B/NHE之前和期间的TRI-HFT分数的差异，使用R语言中的“coin”包进行了Wilcoxon符号秩检验。计算了精确的P值。通过计算ICC来测试评分人之间的评分一致性，ICC即组内相关系数，它是衡量和评价观察者间信度（和复测信度的信度系数指标之一，ICC等于个体的变异度除以总的变异度，故其值介于0～1之间。0表示不可信，1表示完全可信。其中BMS是受试者间的均方，EMS是误差均方， n是评分者的数量。为了评价参与者对执行ADLS的可靠性和实用性的响应，应用了单样本二项检验。

结论：

在B/NHE（非侵入性大脑/神经手部外骨骼）控制前的ADLs(日常活动)和手动运动功能

使用脊髓独立性评价ADLS的功能测试（SCIM）和功能独立性测试（FIM）前提是，所有参与者的独立性均受到严重损害[SCIM评分，40.0±17.6（最大评分为100，0表示完全依赖，100表示完全独立）]，且患有严重的运动功能障碍，导致生活依赖他人[FIMmotor子量表评分，39.17±21.62(最大分数为91，13表示完全依赖，91表示完全独立）]。TRI-HFT评分分析[总平均=分测验1~19±SD的平均和分(最高总分为133分)；平均第1部分=分测验1~10±SD的平均和分(最高总分为70)；平均第2部分=分测验11~19±SD的平均和分(最高总分为63)；分测验平均分=分测验1至19±SD的平均分(最高分为7)；使用B/NHE测验平均分数为72.33±26.17；中位数=81.00±26.12；平均第一部分(37.7±12.83)分，平均第2部分(34.83±15.9)分，分测验平均分(3.81±1.38)分。

图1.控制手部外骨骼的流程方案。

EEG和EOG信号被传送到无线平板电脑，进行实时信号处理并转换成控制信号；通过柔性电缆护套系统移动手外骨骼的执行器。

提供供日常生活使用的可携式B/NHE系统，

将便携式、电池驱动和部分无线的脑/神经计算机交互(BNCI)组件集成到标准轮椅上，使研究参与者能够与B/NHE一起在实验室外和室外自由移动。B/NHE系统的激活和去激活可以存储在座位下面的便携式无线平板计算机上执行(图3、B和C)。经过8到10分钟的校准和熟悉系统后，所有参与者都能用EOG信号的HOV来控制手的张开和停止外骨骼的非预期运动。参与者可持续使用该系统长达4小时，无需为任何组件充电。通过解析EEG感觉运动节律(也就是μ节律；8到13Hz)与事件相关的去同步(SMR-ERD)，达到轻型机器人手外骨骼闭合运动的阈值(图2B)，，参与者抓住，牢固的握住并操作了物体,物体需要达到10cm抓握距离（图4）。由于位于初级运动皮皮层的电极C3处检测到抓握的意图的是特定的，所以参与者可以在没有校准B/NHE运动的情况下讲话或移动肩部。

B/NHE控制时的手部运动功能

在B/NHE的控制下，TRI-HFT评分显著增加(总平均值=113.33±10.21；中位数=113.25±10.21；平均第1部分=50.33±10.25；平均第2部分=63.00±0.00；分测验均分=5.96±0.54)(z=-2.1024，r=−0.8583，P<0.05)。(表1和表2及补充分析)。所有被试手功能最大值为84.96±7.19%，转化为独立ADLS(日常活动)的完全恢复。评分的置信度高。平均组内相关系数(ICC)为0.96，95%可信区间为0.95~0.97[f(227，227)=25，p<0.01]。

图2.用于可靠的手外骨骼控制的混合生物信号处理的设计。

采用眼电（A）和脑电（B）动态检测HOVs和具有抓取意向的信号用于混合BMI手动外骨骼控制（C）。手动外骨骼闭合运动是通过检测SMR-ERD启动的，而手外骨骼打开动作是由HOV超过眼动检测阈值的EOG活动控制的[(A)中的红色虚线]操纵的。如果EOG活动超出了SMR-ERD期间的眼睛运动检测阈值[在(b)中由红色虚线矩形指示]，手外骨骼打开，大脑控制被阻断1.5s[由(c)中的红色矩形指示]，以确系统执行任务时的安全。

图3.B/NHE系统不同组成部分的说明。

(A)将一个有弹性、透气的盖子与固体凝胶电极的夹持器连接到参与者的头上，以记录脑电。

(B)带有电池、执行机构和轻手外骨骼的控制单元，以执行抓取动作。控制箱和执行器被装入标准轮椅中，使参与者能够在实验室外使用该系统。

(C)与手闭合运动意图有关的大脑信号被传送到一台无线平板电脑，该计算机分析这些信号并将其转化为手部外骨骼的控制信号。

在日常生活环境使用B/NHE（非侵入性大脑/神经手部外骨骼）进行控制

参与者可以在实验室外控制B/NHE，例如在餐厅或自己选择的户外，并执行不同的任务，包括抓取瓶子和饮料、抓取叉子和进食、抓取和切换信用卡、用裸露的手指吃薯片、或用笔签署文档，在没有B/NHE的情况下他们无法做到这一点。在系统使用过程中，16.3±4.5%外骨骼驱动的闭合运动被EOG中断，说明EOG成功的控制系统，保障安全性。参与者报告，在执行ADLS时，B/NHE是可靠和实用的（p<0.01）。未报告与B/NHE系统相关的任何副作用或不适。

图4.由TRI-HFT（左）和研究设计（右）测量的用于手部功能评估的每日生活对象列表。

讨论

数据显示，在日常生活环境中使用混合信号控制的B/NHE系统，对6名以前无法在没有帮助的情况下完成这些任务的慢性四肢疾病患者进行治疗，他们完全恢复了独立的ADLs，例如吃饭或用笔签署文件。B/NHE在瘫痪的手和手指上根据预期的手指运动进行抓握，对无意的抓取动作的中断和B/NHE系统的复位打开由HOV控制。瘫痪患者使用该系统可以根据他们自己的意愿安全地抓住，举起，持有和操纵之前他们无法操纵和抓住的沉重物体。该系统的应用不需要任何大量的学习过程，只需要几分钟的校准周期之后便可使用。此外，系统安装和卸载只需要几分钟。使用固体凝胶电极使实验后不需要洗发。

由于其直接关系到运动规划和执行，通过大脑活动来控制辅助设已成为研究的热点。但是非平稳性和非侵入性设备的敏感性限制了它们在日常生活的普适性。然而，当与其它生理信号(例如EOG)组合时，这些缺点得到了解决，能够为我们提供不需要任何多余的学习过程并且在日常生活中安全使用的控制系统。然而，此技术的成熟还需要更强大的信号处理和统计工具，如能找到最佳EEG检测位置，则可进一步提升B/NHE的可靠性和实用性。

表1TRI-HFT第1部分

抓住、抬起物体操纵。数值显示为mean±SD。

0、没有移动，即参与者无法触碰物体；

1、参与者能够触碰对象但无法抓取物体；

2、参与者能够使用被动抓取触碰和抓取，但不能成功地将物体从支撑表面提升；

3、参与者能够使用主动抓取来触碰和抓取物体，但不能成功地将物体从支撑表面提升；

4、参与者能够触碰，抓住，将物体完全抬离支撑面，但不能操纵物体；

5、参与者能够用主动抓握将物体完全从支撑面上到达、抓住和举起，但不能操纵物体；

6、参与者能够将物体完全从支撑面上到达、抓住、举起，并适当地使用被动抓取来操纵物体；

7、参与者能够完全从支撑面到达、抓住、举起物体，并利用主动抓取的适当/正常功能对物体进行适当的操作。

表2.TRI-HFT第2部分

握力的强度/稳定性。数值以均值±SD表示。木块尺寸为40 mm×40 mm×120 mm。详情见表1注解。

非侵入性技术已经可以将脑/神经信号纳入适用于实验室环境之外的实时辅助技术的控制中，这一技术在不久的将来被广泛使用。仅使用EOG或其他外周生物信号并不能直接将大脑活动转化为由手外骨骼传递的实际运动。其他研究中使用表面功能电刺激或其他神经假体方法的无创辅助系统无法与此相媲美。

然而，在使用手外骨骼进行运动康复方面也存在一些限制，例如，在使用者的手和手臂上增加重量、由于外骨骼的人工关节数目而受限制的自由度(DOFs)和工作部件的自然磨损等)。没有足够的肩部和手臂运动功能的个体可能不会受益于这种方法，因为它们不能与手外骨骼接触。在本研究中使用的手外骨骼系统的安装需要第三方协助。拾取和操纵非常小的物体(例如铅笔，<1cm3)的能力没有得到改善。TR-IHFT要求参与者拾取一个平躺的铅笔，使用被动抓取来执行此类任务的参与者在附加B/NHE的情况下得分较低。然而，将笔移到办公桌的边缘，参与者能够使用B/NHE掌握、举起甚至用笔书写。此外，测试机器人系统有没有根据抓取物体的特点如重量或脆弱性调整抓力。向用户提供感官反馈和根据被操纵的物体调整所施加的力的更智能的系统可以进一步改善系统的实用性。可以想象，所有技术问题都可以在不久的将来得到解决。鉴于参与者在该系统中恢复了很高的运动功能，因此还必须考虑到一些道德问题，例如，这种辅助技术的可用性、供应和成本。在进入这项研究之前，该临床试验的参与者被告知并同意B/NHE在其参与后将无法获得。并将在实验结束时被移除。

最近，临床研究表明，重复使用BMI驱动的外骨骼可以在完全SCI后触发下肢恢复运动，并在与行为物理治疗相结合时促进慢性脑卒中后上肢运动恢复。在这些研究中，严重瘫痪的患者接受了暂时性的本体感受、触觉和视觉反馈。这些反馈与他们移动瘫痪肢体的意图有关。临床的改善伴随着功能磁共振成像、扩散张量成像和脑电图数据记录量化的中枢神经系统的功能和结构重组。这些研究是在临床中心进行的，需要大量的资源，但本文介绍和测试的B/HNE可以作为在日常生活环境中促进上肢运动恢复的有效工具。特别是，用户在正常环境和日常基础上应用这类技术的可能性可大大促进学习运动技能的推广，并比以往的BMI更有效。

本系统除了对患有严重运动障碍人的自主性和独立性产生积极影响以外，例如颈脊髓损伤后的瘫痪直接将脑/神经控制与先进的机器人系统相结合，还能有助与其他保健领域的实质性改进，例如替代或恢复认知缺陷。

总结：

本研究使用一种脑电和眼电相结合的脑外的脑机接口装置实现了由于颈脊髓损伤的四肢瘫痪患者的手部运动，这种运动是通过脑机接口对外部外骨骼进行有效控制来实现的，该仪器与以往研究中的外骨骼相比可以有效的实现室外活动和日程生活活动中对手部运动的基本满足。虽然还无法完成一些精细度要求高的动作，但便携、简单易用且能够使用4小时以上的特性已经在已有研究基础上取得了较大突破。