北理工团队研发一种面向低质量视频目标检测的脑机接口技术

DOI: 10.34133/cbsystems.0121

论文摘要

基于脑电图信号的目标检测是一种新的目标检测方法。该方法通过解码操作者观察目标时的特定神经反应来识别目标，具有重要的理论和应用价值。本文重点研究了低质量视频目标的脑电信号检测，突破了以往基于脑电信号的目标检测仅针对高质量视频目标的局限。首先设计了基于脑电图的低质量视频目标检测实验范式，提出了一种基于眼动信号的脑电图片段提取方法，解决了低质量视频目标检测面临的异步问题。然后，分别从时间域、频率域和源空间域分析了低质量视频目标识别过程中的神经表征。根据神经表征设计基于连续小波变换的时频特征，平均解码测试准确率达到84.56%。本文的研究成果为今后基于脑电信号的视频目标检测系统的开发奠定了基础。

研究背景及主要内容

本文研究了基于脑电信号的低质量视频目标检测。利用模拟无人机在海面侦察过程中拍摄的视频作为刺激，设计并构建了低质量视频目标识别的实验范例。与以往的研究不同，本文没有使用广泛使用的快速连续视觉呈现(RSVP)范式，也没有使用高质量的视频目标作为实验刺激。相反，低质量的目标如伪装，残害，遮挡和弱隐等情况，这在实践中更常见，被模拟为本文实验刺激。

基于脑电信号的低质量目标检测虽然具有很大的研究价值，但在以往的研究中从未进行过探索。计算机视觉对低质量目标的识别性能较差，但脑机接口技术可以将人工识别和机器识别巧妙地结合起来，可以同时具备人工识别的高准确率和机器识别的高处理效率。因此，基于脑电图的目标检测技术相对于机器和人工检测具有优势。

为解决基于脑电图的视频目标检测中的异步问题，本文提出了一种基于眼动信号的ERP片段提取方法，该方法利用目标识别过程中不同的眼动类型来确定目标识别时间，并准确提取目标脑电图样本。在随后的神经表示分析和解码中验证了该方法的有效性。本文的目标是解决低质量视频目标的异步检测问题，并更准确地将ERP与眼动信号对齐。

通过观察低质量视频目标检测过程中脑活动的ERP表征和时频表征，我们发现本文所提出的ERP片段提取方法得到的平均ERP的反应强度和响应范围比基线更广，表明所提方法能更准确地对齐ERP片段。ERSP分析显示，视频目标检测导致来自中央通道的α节奏功率下降，这表明受试者的注意力重新部署，与现有的神经科学结论一致。源分析结果表明，视频目标检测引起大脑多个区域的激活，其中枕叶作为人类视觉通路的重要组成部分，先被激活，后被持续激活。额上回、顶叶上小叶和中央后回均有不同程度的激活。本文基于连续小波变换的时频特性，建立了低质量视频对象的脑电识别模型，并进行了伪在线测试。通过比较，我们发现所提出的方法有效地提高了性能。

不同epoch 提取方法下 Fz、Cz、Pz 和 Oz 的 ERP 信号

研究结果

共8名被试参与了本实验。本研究提出的基于眼动信号的ERP对齐方法得到的平均ERP的反应强度和响应范围比基线更广，表明所提方法能更准确地对齐ERP片段。基于该方法建立的低质量视频目标的脑电识别模型的伪在线测试平均召回率为93.43%，虚警率为13.74%。结果表明，使用本文提出的基于眼动信号的ERP对齐方法建立的模型的解码准确率、召回率与虚警率均优于基线算法。

中心区通道脑电信号的 ERSP

源空间的总平均激活模式

研究贡献及前景

从应用价值上看，该研究可应用于威胁目标侦察、救灾巡逻等军事领域。在民用领域，它可以用于监视和城市可疑人员的调查和跟踪。在医疗领域，它可以帮助医生快速筛选目标医学图像，帮助减少医疗过程。此外，该方法可以准确、高效地提取视频中的关键信息。

更多研究成果

为了推进脑机接口和脑控机器迈向真实的应用场景，北京理工大学毕路拯教授团队一直致力于自然场景下的脑机接口、脑机混合智能和脑机协同控制的理论、方法和应用研究。在脑机接口方面，该团队关于考虑注意状态的运动意图分层解码模型曾发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队在推动运动意图神经解码走向真实应用场景方面取得研究进展》，关于单手和双手协同运动的神经解码成果曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《如何对单手和双手协同运动方向进行神经表征和解码？北理工研究团队给出了相关方案》，所提出的神经活动驱动的深度学习解码模型曾发表发表于国际期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队提出一种神经表征驱动的手部运动解码深度学习模型》。关于不同注意力状态下运动意图的鲁棒神经解码研究曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《北理工团队在不同注意力状态下肢体运动意图的鲁棒神经解码方面取得重要研究进展》，该论文也获得2022世界机器人大赛-BCI脑控机器人大赛一青年论文比赛一等奖（唯一），关于非侵入式神经信号的连续运动解码曾发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队在基于非侵入式神经信号的连续运动解码方面取得新进展》，所创建的自然场景下声音目标探测的听觉脑机接口曾发表发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队创建自然场景下声音目标探测的听觉脑机接口》。在脑机协同控制方面，该团队所创建的多任务操控的脑机协同控制方法并应用于智能车辆的研究曾发表在被国际顶级期刊《IEEE Transactions on Systems, Man, and Cybernetics: Systems》，参考《北理工团队创建面向多任务操控的脑机协同控制方法并应用于智能车辆》，创建的脑机协同控制框架以及在脑空智能车辆上的应用研究曾发表于国际顶级期刊《IEEE Transactions on Intelligent Transportation Systems》，参考《北理工研究团队在脑机协同控制技术与脑控智能车辆方面取得重要进展》，所提出的基于鲁棒非线性模型预测的脑机协同控制方法以及在脑空移动机器人上的应用研究曾发表于国际顶级期刊《IEEE Transactions on Cybernetics》，参考《北理工研究团队在脑-控移动机器人上取得重要进展》。此外，该团队首创的脑控多域多任务机器人系统还曾作为脑机接口领域创新成果在2022年世界机器人大赛现场进行展示，参考《北理工智能人机系统团队研发“脑控”机器人 应用于城市反恐防暴--2022世界机器人大赛》。

团队与作者简介

北京理工大学智能人机系统团队隶属于北京理工大学机械与车辆学院机电系统与装备研究所。团队由5名教师和30余名博士后、博士和硕士研究生组成，负责人为毕路拯教授。团队主要研究方向包括脑机接口与脑控智能机器、多机器人协同与多模态智能感知、以及人机智能交互与智能辅助驾驶。团队在国际权威期刊IEEE TCYB, TBME, TITS, TSMCS, TNSRE和THMS等发表论文100余篇（含IEEE Trans 30多篇）。获授权国家发明专利30多项。获教育部自然科学奖二等奖1项，中国电子学会科技进步二等奖1项。获得2022年世界机器人大会-BCI脑控机器人大赛-青年论文比赛一等奖（唯一）。获第九届中国国际“互联网+”大学生创新创业大赛金奖；首届“京彩大创”北京大学生创新创业总决赛季军和第八届中国国际“互联网+”大学生创新创业大赛全国铜奖；2023年挑战杯全国二等奖。

毕路拯教授简介

毕路拯现为北京理工大学机械与车辆学院教授、博士生导师、机电系统与装备研究所所长。担任中国脑机接口产业联盟数据与基础软件工作组副主席、中国计算机学会智能汽车分会专委会常委委员、中国人工智能学会脑机融合与生物机器智能专委会委员、中国仿真学会交通建模与仿真专业委员会委员、中国仿真学会智能优化与调度专业委员会委员、世界机器人大赛-BCI脑控机器人专家组成员。