斯坦福大学李飞飞、吴佳俊团队联合提出全新脑机系统，用大脑控制机器人做各类操作任务

脑机接口社区

发布于 2023-11-10 08:10:32

6180

在科学家、工程师和艺术家们的设想中，大脑-机器人接口(Brain-Robot Interface, BRI)是一个令人兴奋而又充满挑战的研究课题，它代表着未来人与机器人和谐共存的桥梁。该课题目标是创造能够与人类完美协同合作的机器人系统。我们希望利用最近在机器学习、神经科学和机器人学习方面取得的进展，构建新颖的脑-机器人接口系统：

在该项研究中，斯坦福大学研究者提出了神经信号操作智能机器人(Neural Signal Operated Intelligent Robots,NOIR)，这是一个通用的大脑--机器人接口(Brain-Robot Interface, BRI)系统，使人类可以通过大脑信号来命令机器人执行日常活动。通过这个脑--机器人接口，人们可以使用脑电图（EEG）技术来传递他们感兴趣的目标和行动，实现与机器人进行交互。

下面我们看一下NOIR 系统

NOIR 系统由两个部分组成，一个是从人脑信号中解码目标的模块化管道，另一个是拥有原始技能库的机器人系统。机器人具有学习预测人类预期目标的能力，从而减少了解码所需的人力。

从脑电图EEG中解码人类意图

NOIR 采用模块化管道从脑电信号中解码人类的预期目标：(a)使用 CCA 分类器从 SSVEP 信号中解码要操作的对象；(b) 如何与物体互动，使用 CSP+QDA 算法从 MI 信号中解码；(c) 在哪里互动，从 MI 信号中解码。通过捕捉下颌紧咬产生的肌肉张力的安全机制来确认或拒绝解码结果。

具有参数化原始技能的机器人

人类的意图可以映射到 14 种参数化的机器人技能，如 Pick(x,y,z)、Place(x,y,z) 和 Push(x,y,z,d)。人类发现了这些技能的新用途，并将其结合起来完成艰巨的任务。

机器人学习提高 BRI 效率

研究人员利用机器人可以通过少量镜头学习人类选择的对象、技能和参数，因此，当人类在相似的环境中执行相同的任务时，可以减少人类的精力和时间。

我们基于检索的对象和技能选择模型如下所示。它可以学习观察结果的潜在表征。给定一个新的观察结果后，它会在记忆中找到最相关的经验，并选择相应的技能和对象。

我们的单次技能参数学习算法如下所示。它能根据训练图像中的参考点，在测试图像中找到语义对应点。特征可视化显示了所使用的 768 个 DINOv2 标记中的 3 个。

实验和结果

通过 NOIR，3 名人类参与者（2M1F）完成了 20 项长视距任务（4-15 项技能）的日常活动。其中 16 项活动（No.2 - No.17）是使用 Franka 的桌面操作任务，4 项活动（No.18 - No.21）是使用 Tiago 的移动操作任务。这些任务包括 8 项做饭任务、6 项清洁任务、3 项个人护理任务和 3 项娱乐任务。

量化结果

每个任务平均需要尝试 1.8 次才能成功，任务完成时间为 20.3 分钟。任务范围是指执行原始技能的平均次数。尝试次数 # 表示直到第一次成功为止的平均尝试次数（1 表示第一次尝试成功）。时间表示在成功尝试中完成任务的时间。人类时间是指人类用户花费的时间占总时间的百分比，其中包括决策时间和解码时间。