Nature正刊解读 | 基于侵入式脑电的想象手写英文字母实现与外界交流

​微信搜索公众号 “脑机掌门”，实时接受脑机接口信息文章解读！

本次解读nature论文High-performance brain-to-text communication via handwriting。由斯坦福大学医学院、布朗大学和哈佛医学院的专家合作完成。

摘要：脑-机接口(BCIs)可以恢复失去移动或说话能力的人的交流。到目前为止，BCI研究的一个主要焦点是恢复肌肉运动功能，比如伸手抓东西[1-5]或者用电脑光标点击打字[6、7]。然而，快速有序的高度灵巧的行为，如手写或触摸打字，可能会加快交流速度。在这里，我们开发了一种皮质内的BCI，它通过运动皮层的神经活动解码想象进行的手写运动，并使用递归神经网络解码方法将其实时翻译成文本。我们的研究参与者的手因脊髓损伤而瘫痪，通过这个BCI系统在线打字速度达到每分钟90个字符，原始准确率为94.1%，离线使用通用自动更正功能，准确率超过99%。据我们所知，这些打字速度超过了任何其他BCI系统报告的速度，对比我们参与者相似年龄组，与其使用典型智能手机打字速度相当(每分钟115个字符)[8]。最后，理论上我们解释了为什么时间上复杂的运动，如手写，可能从根本上比点对点运动更容易解码。我们的结果为脑机接口开辟了一条新的途径，并证明了瘫痪多年后可以准确解码快速、灵巧运动的可行性。

先前的BCI研究表明，在瘫痪后，粗大运动技能(gross motor skills)的运动意图，如伸手、抓住或移动电脑光标，仍然由神经编码在运动皮层中[1-7]。然而，快速和高度灵巧的运动技能(如书写)的神经表征是否也保持完整仍然未知。我们通过记录中央前回(运动前区)[9,10]的手“旋钮”区域的两个微电极阵列的神经活动来测试这一点，同时我们的“BrainGate研究”的参与者T5试图手写单个字母和符号(图1a)。T5有高度脊髓损伤，颈部以下瘫痪；他的手部动作完全不起作用，仅仅只会抽搐和微动。我们指导T5“尝试”写字，就像他的手没有瘫痪一样，同时想象他拿着一支笔在一张直纹纸上。

图1 尝试书写的神经表征 a:为了评估试图书写的神经表征，参与者T5试图按照计算机屏幕上给出的指令一次书写一个字符(底部面板描绘了屏幕上显示的内容，遵循时间线)。贡献:由E .伍德鲁姆创作的人体剪影图。

书写的神经表征

为了可视化在尝试手写期间记录的神经活动(多单元阈值交叉率)，我们使用主成分分析来显示包含最大方差的前三个神经维度(图1b)。这种神经活动似乎很强且可重复，尽管其峰值和谷值的时间在不同的试验中有所不同，这可能是由于书写速度的波动。我们使用了一种时间校准技术来消除时间可变性[11]，这揭示了明显一致的神经活动模式是每个字符所特有的(图1c)。为了确定神经活动是否编码了绘制每个字符形状所需的笔运动，我们试图通过从试验平均神经活动线性解码笔尖速度来重建每个字符(图1d)。容易识别的字母形状证实了笔尖速度是鲁棒编码的。代表笔尖速度的神经维度占总神经方差的30%。

图1 尝试书写的神经表征  b: 前三个主要成分(PCs)的神经活动显示为三个示例字母(d、e和m)和每个字母的27次重复(试验)。色标在每个面板内分别标准化，以便可视化。

图1 尝试书写的神经表征  c: 对神经活动进行时间扭曲，以消除书写速度的试验性变化，揭示了每个字母特有的一致的活动模式。在c上方的插图中，显示了字母“m”的示例时间扭曲函数，该函数相对靠近标识线(每个试验的扭曲函数用不同颜色的线绘制)。

图1 尝试书写的神经表征  d: 显示了所有31个测试字符的解码笔轨迹。使用交叉验证从神经活动中线性解码出预期的2D笔尖速度(每个字符都被保留下来)，并通过对试验进行平均来去除解码器输出的噪声。橙色圆圈表示轨迹的起点。

接下来，我们采用非线性降维方法（t-分布随机邻域嵌入；t-SNE）对每个试验的神经活动进行二维（2D）可视化，在给出“go”提示后记录(图1e)。t-SNE可视化显示，每个字符都有密集的神经活动簇，并且主要是运动编码，在这种编码中，写起来相似的字符靠得更近。使用离线应用于神经活动的k近邻分类器，我们可以以94.1%的准确率(95%置信区间= [92.6，95.8])对字符进行分类。综上所述，这些结果表明，即使在瘫痪数年后，其运动皮层中笔迹的神经表征也可能足够强大，可以用于脑机接口。

图1 尝试书写的神经表征  e:使用t-SNE制作的神经活动的2D显像。每个圆圈是一个单独的试验(31个字符的每一个字符显示27个 trial)。

解码手写的句子

接下来，我们测试了我们是否能够实时解码完整的手写信息，从而使四肢瘫痪患者能够通过手写来对他们想要的信息进行交流。为此，我们训练了一个递归神经网络（RNN），将神经活动转化为描述每个字符在每个时刻被写入的可能性的概率（图2a，扩展数据图1）。这些概率可以用一种简单的方法来设定阈值，以发出离散字符，我们这样做是为了实时解码（原始在线输出，图2a），或者用一个大词汇量语言模型更广泛地处理，以模拟我们离线应用的自校正特征（语言模型的离线输出，图2a）。我们使用了如图1d所示的由31个字符组成的有限集合，由字母表中的26个小写字母组成，以及逗号、撇号、问号、句号（由T5作为波浪符号书写；~）和空格（由T5写成大于符号；>）。选择~和>符号是为了使句号和空格更容易检测。T5试图打印每个字符（不是草书），每个字符都打印在前一个字符的上面。

图2 |  对尝试手写的实时神经解码   a、解码算法示意图。首先，神经活动（多单位阈值交叉）在每个电极（20ms bins）上进行时域上的封装和平滑。然后，RNN将这个神经种群时间序列（xt）转换成概率时间序列（pt-d），描述每个字符的可能性和任何新字符开始的概率。RNN有一个1秒的输出延迟（d），让它有时间在决定每个字符的类别之前充分识别每个字符。最后，对字符概率进行阈值化以产生实时使用的原始在线输出（当新字符概率在时间t超过阈值时，在时间t+0.3s的最可能字符被输出并显示在屏幕上）。在离线回顾性分析中，将字符概率与大词汇量语言模型相结合，以解码参与者最可能撰写的文本（使用自定义的50000字二元模型）。图片来源：E. Woodrum。

扩展图1  RNN架构图。我们使用两层选通递归单元（GRU）递归神经网络结构将神经触发频率向量xt序列（在20ms时进行时间平滑和装箱）转换为字符概率向量yt序列和新的字符概率标量zt序列。yt向量描述每个字符在该时刻被写入的概率，并且每当RNN检测到T5开始写入任何新字符时，zt标量就变高。请注意，顶层RNN的运行频率比底层慢，我们发现通过使信息更容易长时间保存在内存中，提高了训练速度。因此，RNN输出仅每100ms更新一次。而且，注意，我们使用了一个特定于一天的仿射变换来解释神经活动的日常变化（最下面一行），这有助于RNN解释当训练数据跨多天组合时，由电极阵列微动或大脑可塑性引起的神经调节变化。

为了收集RNN的训练数据，我们记录了神经活动，同时T5试图按照计算机显示器上的指示，以自己的速度手写完整的句子。在实时评价的第一天之前，我们在3天的试验期内收集了242个句子组合起来训练RNN。在随后的实时测试中，每一天收集额外的训练数据，在评估前重新校准RNN，最后一天总共得到572个训练句子(7.6小时，31472个字符)。为了训练RNN，我们采用了自动语音识别中的神经网络方法，以克服两个关键的挑战:(1)每个字母在训练数据中书写的时间未知(因为T5的手是瘫痪的)，这使得应用监督学习技术具有挑战性;(2)与典型的RNN数据集相比，该数据集的规模有限，难以防止对训练数据的过拟合(见补充方法，扩展数据图2、3)。

扩展数据图2 | RNN训练方法概述。a、 复制键入和自由键入会话的会话流图（每个矩形对应一个数据块）。首先，收集单个字母和句子的训练数据（蓝色和红色块）。接下来，使用新收集的数据加上前几天的所有数据（紫色块）来训练RNN。最后，RNN保持固定并评估（绿色块）。

扩展数据图2 | RNN训练方法概述。b、 数据处理和RNN训练过程图（a中的紫色方框）。首先，对单个字母数据进行时间扭曲和平均，为每个字符创建神经活动的时空模板。这些模板用于初始化用于句子标注的隐马尔可夫模型（HMMs）。标记后，将观察到的数据切分并重新排列成新的字符序列，形成合成句。最后，将合成句与真实句相结合，训练RNN。

扩展数据图2 | RNN训练方法概述。c、 图中的一个强制对齐HMM用来标记句子少数黑色出租车开车上主要道路在安静朦胧的夜晚。HMM状态对应于句子中的字符序列。

扩展数据图2 | RNN训练方法概述。d、 通过将单个字符的神经模板与实际数据相关联，得到互相关热图，验证了标签的质量。HMM识别的字符开始时间在热图上形成了清晰的热点。请注意，这些热图仅用于定性显示标签质量，不用于训练（仅需要角色开始时间来生成RNN训练的目标）。

扩展数据图2 | RNN训练方法概述。e、 为了生成新的合成句，将实际数据中每个标记字符对应的神经数据从数据流中剪切出来，放入一个片段库中。然后，这些片段从库中随机抽取，在时间上拉伸或压缩高达30%（以增加更多人为的时间变化），并组合成新的句子。

扩展数据图3 | 关键RNN参数对性能的影响。a、 训练与合成数据（左）和人工白噪声添加到输入（右）都是必不可少的高性能。数据显示在两个参数上的网格搜索中，行显示另一个参数的最佳性能值。结果表明，这两个参数都是高性能所必需的，即使另一个参数处于最佳值。当数据集的大小非常有限时，使用合成数据更为重要，例如仅对一天的数据进行训练时（蓝线）。注意，给RNN的输入是z-评分的，所以输入白噪声是以输入特征的标准偏差为单位的。b、 添加到特征均值的人工噪声（随机偏移和基线发射率的缓慢变化）极大地提高了RNN泛化到会话后期出现的新数据块的能力，但无助于RNN泛化到其已经训练过的数据块中的新试验。这是因为特征意味着随着时间的推移变化缓慢。对于每个参数设置，训练三个独立的RNN（圆形）；结果显示，RNN训练运行的变异性较低。c、 与每天单独训练相比，将所有数据集结合起来训练RNN可以提高性能。每个圆圈显示七天中的一天的表现。d、 每天使用单独的输入层比每天使用一个层要好。e、 总结了每个参数在字符错误率方面的改进。采用单次试验（n=10000）的bootstrap重采样法计算95%可信区间。如表所示，所有参数至少在一种情况下（CI不相交于零）显示出统计上的显著改善。

我们在5天的时间里对RNN的表现进行了评估，每天包含4个评估块，其中包含7个10句RNN从未接受过训练的句子（从而确保RNN不会过度适合这些句子）。T5从屏幕提示中复制每个句子，试图一个字母一个字母地手写，而解码的字符在RNN检测到时实时出现在屏幕上（补充视频1、2、扩展数据表1）。字符出现后，他们完成了T5与一个短暂的延迟（估计为0.4 0.7秒）。解码的句子非常清晰（原始输出，图2b）。值得注意的是，打字速度很高，平均每分钟90个字符，平均错误率为5.4%（最后一天四个区块的平均错误率）（图2c）。由于没有实现退格函数，因此，如果出现任何解码错误，则指示T5继续写入。

图2 | 对尝试手写的实时神经解码   b、 两个实时的例子试验表明，RNN的能力，解码容易理解的文本上的句子，它从来没有训练。错误以红色突出显示，空格用“>”表示。

当使用语言模型离线自动更正错误时，错误率显著降低（图2c，表1）。字符错误率下降到0.89%，单词错误率下降到3.4%，与最先进的语音识别系统相当，单词错误率为4.5%[14,15]，在可用性范围内。最后，为了探索可能的解码性能限制，我们离线训练了一个新的RNN，使用所有可用的句子以非因果的方式处理整个句子（与其他BCI研究相似[16,17]）。在这种情况下，准确率极高（0.17%的字符错误率），这表明性能的潜在上限很高，尽管这种解码器无法向用户提供逐字反馈。

图2 |对尝试手写的实时神经解码   c、 错误率（编辑距离）和打字速度显示为5天，4个块，每个块7-10句话（每个块用一个圆圈表示，并根据试用日上色）。速度是下一个最快的皮质内BCI7的两倍以上，用虚线表示。

接下来，为了评估在不那么拘束的环境中的表现，我们收集了两天的数据，其中T5使用BCI自由输入开放式问题的答案（补充视频3，扩展数据表2）。实验结果证实，当用户编写自己生成的句子而不是复制屏幕上的提示时（每分钟73.8个字符，实时字符错误率为8.54%，语言模型错误率为2.25%），也可以获得较高的性能。据我们所知，以前皮质内BCIs自由打字的记录是每分钟24.4个正确字符[7]。

在最右边的一栏中，错误用红色高亮标出(省略的字母会被划掉)。注意，我们的语言模型用咸鱼代替旗鱼，因为旗鱼没有词汇表。该块的平均打字率为73.8个字符/分钟，字符错误率为6.82%(实时输出)和1.14%(语言模型)。

每日解码器再训练

按照标准实践[1,2,4,5,18]，我们每天在评估我们的笔迹解码器之前，借助每天开始收集的校准数据对其进行重新训练。再训练有助于解释神经记录的变化，这些变化可能是由神经可塑性或电极阵列微运动引起的。理想情况下，为了减轻用户的负担，只需极少或不需要校准数据。在对上图中报告的复制打字数据的回顾性分析中，我们评估了每天使用少于原来的50个校准句子(图3a)是否仍然可以实现高性能。我们发现，10个句子(8.7分钟)就足以达到8.5%的原始错误率(语言模型为1.7%)，尽管需要30个句子来匹配5.9%的原始在线错误率。

然而，我们的复制打字数据是在28天的时间跨度内收集的，这可能使神经活动积累了更大的变化。通过进一步的离线分析，我们评估了间隔更近的会话是否减少了校准数据的需求(图3b)。我们发现，当两次训练之间仅间隔2- 7天时，解码器的表现是合理的，没有进行再训练(11.1%的原始错误率，1.5%的语言模型)，正如之前的工作所预期的那样，显示了神经记录的短期稳定性[19-21]。最后，我们测试了解码器是否可以以无监督的方式进行再训练，方法是使用语言模型对解码器进行错误纠正和再训练，从而绕过中断用户进行校准的需要(通过在正常使用期间启用自动重新校准)。令人鼓舞的是，当课程间隔为7天或更短的时间时，非监督再培训的原始错误率为7.3%(使用语言模型时为0.84%)。

当每日解码器再训练缩短(或无监督)时，|的性能仍然很高。a，为了解释随着时间的推移而产生的神经活动的变化，我们每天在评估我们的手写解码者之前重新训练它。在这里，我们离线模拟了如果使用的校正句子少于原来的50个，译码性能会发生怎样的变化。线条表示所有数据的平均错误率，阴影区域表示95%CIs 。b，使用8次试验的拷贝打字数据来评估如果试验发生的时间更近，是否需要更少的校准数据。考虑所有会话对(X, Y)。解码器首先使用会话X和更早期的训练数据进行初始化，然后在不同的再培训方法(无再培训、有有限校准数据的再培训或无监督再培训)下对会话Y进行评估。线条表示平均原始错误率，阴影区域表示95% CIs。

最终，解码器能否以最小的重新校准数据成功地重新训练取决于神经活动随时间的变化有多快。我们评估的稳定性就能够辨别出每个字符和发现有关的神经模式短期稳定高(平均0.85当相隔7天或更少)的相关性,和神经的变化似乎积累速度稳定且可预测的(扩展数据图. 4)。这些结果为临床可行性承诺,正如他们所建议的那样，无监督的解码器再训练，加上长时间不活动后更有限的监督再训练，可能足以实现高绩效。然而，未来的工作必须在线确认这一点，因为离线模拟并不总是预测在线性能。

扩展数据图4 |几天内神经记录的变化。a、 为了可视化神经记录随时间变化的程度，在所有10天的数据（列）中，使用在所有其他天（行）中训练的解码器绘制两个示例字母（m和z）的解码笔尖轨迹。每节课都会根据2019年12月9日（第4天）经过的天数进行标记。结果表明，尽管神经活动的模式随着时间的推移而明显改变，但它们的基本结构在很大程度上是保守的（因为过去训练的解码器很容易转移到未来）。b、 计算每对疗程的神经活动模式之间的相关性（Pearson sr），并绘制为每对疗程间隔天数的函数。蓝色圆圈表示在整个神经空间（所有192个电极）中计算出的相关性，而红色圆圈表示锚定空间中的相关性（早期会话的前10个主成分）。高值表示字符在几天内的神经编码方式具有很高的相似性。锚定空间中相关性较高的事实表明，神经模式的结构在缓慢旋转到新空间时基本保持不变，导致原始空间收缩，但结构变化不大。c、 通过原始锚定空间的顶部两个PC查看每个角色的神经表示如何随时间变化的可视化。每个圆圈代表单个字符的神经活动模式，每个x符号在稍后的一天显示相同的字符（线连接匹配的字符）。左，两个疗程之间只有两天（从第2天到第0天）；对，两个疗程间隔11天（第2天到第9天）。神经模式的相对位置在几天内保持相似，但大多数情况下明显向原点收缩。这与神经表征从原始空间缓慢旋转到新空间是一致的，并且表明放大输入特征可能有助于解码器更准确地传输到未来会话（通过抵消这种收缩效应）。d、 类似于图3b，来自八个会话的拷贝类型数据被用于离线评估在未来会话上评估解码器时（当不使用解码器重新训练时），放大解码器输入是否提高性能。考虑所有会话对（X，Y）。首先使用会话X和更早版本的所有数据初始化解码器，然后在会话Y上以不同的输入比例因子进行评估（例如，输入比例为1.5意味着输入特征按50%的比例放大）。线条表示平均原始字符错误率，阴影区域显示95%CI。结果表明，当会话之间经过长时间时，输入缩放可以提高性能。因此，在评估图3的无再训练条件下的解码器性能时，我们使用了1.5的输入比例因子。

最终，解码器能否以最小的重新校准数据成功地重新训练取决于神经活动随时间的变化有多快。我们评估的稳定性就能够辨别出每个字符和发现有关的神经模式短期稳定高(平均0.85当相隔7天或更少)的相关性,和神经的变化似乎积累速度稳定且可预测的(扩展数据图。4)。这些结果为临床可行性承诺,正如他们所建议的那样，无监督的解码器再训练，加上长时间不活动后更有限的监督再训练，可能足以实现高绩效。然而，未来的工作必须在线确认这一点，因为离线模拟并不总是预测在线性能。

时间变化改进解码

据我们所知，每分钟90个字符是迄今为止所报道的任何类型BCI的最高输入速率(见讨论)。对于皮质内bci，表现最好的方法是用2D电脑光标点击打字，最高每分钟能正确输入40个字符7(直接比较见补充视频4)。点击式bci的速度主要受到解码精度的限制。在参数优化过程中，通过增加光标增益来提高打字速度，直到光标移动过快，导致解码错误无法控制[22]。因此，我们提出了这样一个问题:如何能以两倍以上的速度破译笔迹，而且准确率也差不多。我们的理论是，手写的字母可能比点对点的运动更容易区分，因为字母的神经活动的时空模式比直线运动更多样化。为了测试这个理论,我们分析了相关的神经活动模式16直线运动和字母不需要取消的笔页面,都由T5未遂的笔迹(图4 a、b)。

图4 |增加的时间变化可以使运动更容易解码。a，我们分析了16个手写体(1 s)和16个手写体直线运动(0.6 s)对应的神经活动的时空模式。b，时空神经模式是通过对给定运动的所有试验进行平均(经过时间扭曲以使试验在时间上一致)发现的。对神经活动进行重采样以平衡每组动作的持续时间，每组动作得到192,100个矩阵(192个电极和100个时间步)。

首先,我们分析了两两之间的欧几里得距离每个神经活动模式。我们发现，与直线相比，字符每次移动的最近邻距离要大72% (95% CI =[60%， 86%])，这使得解码器不太可能混淆两个相邻的字符(图4c)。为了证实这一点，我们将每组动作的分类精度模拟为神经噪声的函数(图4d)，这表明字符比直线更容易分类。

c，对每个字符集计算神经模式之间的成对欧几里德距离，显示字符更大的最近邻居距离(但不是平均距离)。每个圆圈代表一个单一的移动，条形高度表示平均值。d，较大的最近邻距离使字符比直线更容易分类。噪声以标准偏差为单位，与距离的刻度c相匹配。

为了深入了解是什么导致了字符的最近邻距离的相对增加，我们检查了神经模式的空间和时间维度。利用主成分分析(PCA)特征值谱的参与比例估计空间和时间维度，它大致量化了需要多少空间或时间维度来解释80%的神经活动模式的差异23。研究发现，汉字的空间维度略大(1.24倍;95% CI =[1.19, 1.30])，但时间维度大得多(2.65倍;95% CI =[2.58, 2.72])，表明字母书写中时间模式的多样性增加，推动了每个动作的可分离性增加(图4e)。

说明增加时间维度可以移动的更多的区分,我们建造了一个玩具模型有四个动作和两个神经元,神经活动受限的躺在一个维度(图4 f, g)。只要允许轨迹变化(图4 g),可以增加神经轨迹之间的最近邻距离，从而在噪声水平足够大时提高分类精度(图4h)。虽然玩具模型中的神经噪声被假定为独立的白噪声，但我们发现这些结果也适用于随着时间和神经元相关的噪声(扩展数据图5，补充注释1)。

e，空间维度(dim.)特征与直线相似，但时间维度(time维数)特征是直线的两倍多，表明更多的时间多样性导致了最近邻距离的增加和更好的分类性能。误差条显示95%的CIs。使用参与比率对维度进行量化。f h，一个玩具的例子直观地说明了增加的时间维度是如何使神经轨迹更加可分离的。描述了四种神经轨迹(N1和N2是两个假设的神经元，它们的活动被限制在一个单一的空间维度，即统一的对角线)。通过增加一个弯道，轨迹可以随时间变化，将时间维度从1 (f)增加到2 (g)，从而实现更大的最近邻居距离和更好的分类(h)。

这些结果表明，时变的运动模式，比如手写的字母，从根本上来说比点对点的运动更容易解码。我们认为这是一个但不是必须的——这是使手写BCI比连续运动的指向和点击BCI更快的唯一重要因素。其他具体的(基于分类的)bci通常也使用时间变化不大的方向性运动，这可能会限制其准确性和/或运动集的大小[24,25]。更普遍的是，使用最大化动作之间最近邻距离的原则，应该有可能优化一组动作以便于分类[26]。我们研究了这种可能性，并设计了一种理论上比拉丁字母更容易分类的字母表(扩展数据图6)。优化后的字母表避免了大量冗余字母的相似性(大多数拉丁字母以向下的笔划或逆时针的卷曲开始)。

讨论

闭锁综合征（几乎所有自愿性肌肉麻痹）严重损害或阻碍交流，最常见的原因是脑干中风或晚期肌萎缩侧索硬化（闭锁综合征的估计患病率：十万分之一[27]）。用于恢复通信的常用BCI有闪光脑电图（EEG）拼写器[18,28-32]或皮质内点击BCI[6,7,33]。基于奇异电位或运动想象的脑电拼写器通常每分钟能达到1-5个字符[28-32]。使用视觉诱发电位的脑电图拼写器已经达到了每分钟60个字符的速度[18]，但是有明显的可用性限制，因为它们会束缚眼睛，通常不会自动调整节奏，需要在屏幕上安装闪光灯。基于2D光标移动的皮层内BCI让用户可以更自由地四处查看并设置自己的通信节奏，但人类每分钟的正确字符数还没有超过40个[7]。最近，语音解码BCI在恢复快速通信方面显示出令人兴奋的前景[16,17,34]，但其准确性和词汇量需要进一步提高，以支持通用用途。

在这里，我们介绍了一种新的通信方法BCIs解码一个快速，灵巧的运动行为，在一个人的四肢瘫痪，设置了一个基准的通信速率为90个字符每分钟。实时系统具有通用性（用户可以表达任何句子）、易用性（完全自定步调，眼睛可以自由移动）和足够精确的特点，在现实世界中非常有用（94.1%的原始准确率，在大词汇量语言模型下离线准确率大于99%）。为了获得高性能，我们开发了在数据有限的情况下有效处理未标记神经序列的编码方法。这些方法可以更普遍地应用于任何无法直接观察到的连续行为（例如，解码不再说话的人的语音）。

必须认识到，当前的系统证明了高性能手写BCI是可能的（在单个参与者中）；它还不是一个完整的，临床上可行的系统。需要更多的工作来证明在其他人中的高性能，扩展字符集（例如，大写字母），启用文本编辑和删除，并保持对神经活动变化的鲁棒性，而不中断用户进行解码器再培训。更广泛地说，皮质内微电极阵列技术仍在成熟，需要进一步证明其寿命、安全性和有效性，才能广泛应用于临床[35,36]。参与者表现的可变性也是一个潜在的问题（在之前的一项研究中，T5在三名参与者中取得了最高的表现 [7]）。

然而，我们相信皮质内BCIs的前景是光明的。目前的微电极阵列技术已经被证明在植入后能保持功能超过1000天[37,38]（包括这里；参见扩展数据图7），与其他记录技术（例如脑电图或皮层电图）相比，它实现了迄今为止最高的BCI性能，用于恢复通信[7]、手臂控制[2,5]和通用计算机使用39。植入物设计的新进展正在进行中，至少将电极数量增加一个数量级，这将进一步提高性能和寿命[35,36,40,41]。最后，我们设想，算法创新[42 44]和设备稳定性改进的结合将继续减少每日解码器再培训的需要。在这里，离线分析显示了更有限的，甚至无监督的解码器再培训的潜在前景（图3）。