journal of neuroscience：面孔的神经表征与眼动模式相协调

眼球运动是人类视觉功能如何完成的一个信号。近期大量的研究持续验证了在面孔识别过程中特征视觉采样的策略。然而这些个体差异是否反映在特殊的神经差异上目前尚没有研究报告。为探讨该问题本研究首先记录了观察者在面孔再认过程中的眼动数据；其次通过EEG数据获得了他们的面孔辨别神经反应 (neural face discrimination response)。实验结果发现在面孔再认阶段，注视点固定时间更长的面部特征诱发的面部辨别神经反应更大。该模式在不同的被试中 (eye lookers vs.mouth lookers) 同样被发现，且在注视点首次固定在兴趣位置时这种模式就会出现。本研究表明，眼球运动在视觉处理过程中起着重要的作用，可以为神经系统提供判断特定观察者的判断信息，并且面孔身份的有效处理涉及特质，而不是整个面孔。该研究由来自瑞士的Stacchi, Ramon, Leo和Caldara 完成，发表在杂志the journal of neuroscience上。

研究背景：

视觉系统对外部感知觉信息的处理依赖于眼球选择性移动到任务相关信息上，而面部信息的处理有特殊的凝视策略。长久以来，被普遍认同的面部识别策略为T型注视点模式 (T-shaped fixationpattern)，即覆盖了眼睛和嘴巴位置的T型区域。然而，近十年来涌现的大量研究对面孔识别策略提出了新的见解。例如，caldara (2017) 的综述文章指出不论东方还是西方人在面孔识别过程中都会分别采用T型策略和中央注视偏好 (more centralfixation bias)，两种策略使用熟练程度是类似的。另外大量基于个体被试的研究发现，面孔观察者会采用独特的面孔采样策略，并且这种策略在时间进程是稳定的，且与行为表现相关。特别需要指出的是，仅仅在西方面孔观察者群体中发现的特征视觉采样策略就与周知的T型策略不同。尽管支持特征视觉采样策略的研究如雨后春笋，但目前我们对该策略在整个面孔识别过程中扮演的角色以及神经机制知之甚少。通过比较各种范式的优缺点，本研究采用了新旧判断任务（眼动实验）和FPVS范式 (脑电实验，fast-periodic visual stimulation)来对眼球运动与面孔识别的神经机制之间的关系进行了探究。

方法：

被试：20名西方白种人被试（11女，两位左利手，平均年龄：25±3岁）。其中三名被试因为眼动数据质量差被剔除。

实验流程：

眼动实验设计：

从KDEF（西方人面孔数据库）中选取56张西方白种人面孔、从AFID（亚洲人面孔数据库，可在文章中找到具体文章和网址）中选取26张东方亚洲人面孔组成视觉刺激。面孔刺激呈现在VIEWPIxx / 3D显示器（1920 x 1080像素分辨率，刷新率120 Hz）上，被试距离显示器距离75厘米。面孔图片大小为12.56°（从下巴到发际线的高度）x 9.72°（宽度）视角。

被试要完成两个学习与再认blocks。在每个block中，被试需要学习14张面孔身份（男女各半），14张面孔随机呈现三种（中性、高兴和厌恶）表情。30秒钟之后，28张面孔图片（14张旧图片）依次呈现要求被试又好又快的做出新旧判断。在学习阶段，面孔呈现5秒钟，而在再认阶段，面孔呈现至被试完成反应。眼动数据全程记录。

数据收集与处理：

眼动行为数据通过EyeLink 1000设备（时间分辨率1000 Hz）记录。在实验开始前运用九点注视点程序对注视点进行校准。每个试次开始前被试皆会被要求将注视点集中到屏幕中央位置直到刺激呈现。其余额外变量严格控制。

在使用Nystrom等人 (2010) 的算法剔除眼动伪迹和眼跳伪迹之后，用新旧判断任务学习与再认阶段的眼动数据分别绘制个体注视点地形图。眼动数据预处理之后，对每个被试注视点地形图分别平均。使用这些个体注视点地形图和兴趣区 (regions of interest, ROIs,图1) 来计算个体的注视强度，即累计注视时间。ROIs覆盖了1.8°视角的面积，即在FPVS任务中包括中心点在内的十个注视位置 (viewingpositions, VPs)。

图1 兴趣区模式图

脑电：

实验设计：

采用50张（男女各半）中性情绪面孔，将多余的面部特质裁剪掉，呈现在灰色的背景下。刺激每张11.02°×8.81°，被试与显示器距离70 cm。刺激按照FPVS范式进行呈现，每个试次持续62秒，包括一系列相同身份的面孔和每个试次中第7个面孔的oddball面孔。按照VPs分为10种条件，每种条件按照性别不同分为两种子条件，因此实验总共20试次。刺激按照正弦明暗对比呈现，并在每个试次的开始和结束设置两秒钟淡入淡出。注视点颜色发生变化以使被试保持注意力，并要求被试对相应颜色进行按键。在EEG数据记录时不再进行眼动数据记录。详见图2。

图2 FPVS流程示意图

数据记录与处理：

EEG数据用Biosemi active-Two amplifier系统记录，128导银/氯化银电极帽，采样频率1024 Hz。使用Letwaves 5 进行数据分析。首先进行0.1–100 Hz带通滤波，随后数据降频至256 Hz并根据条件切分为20个66秒的epoch，刺激前后各包含两秒。ICA用来剔除每个被试的眼动伪迹。采用插值替换的方法对坏电极进行替换，对ERP数据重参考至全脑平均。最后每个被试的每个条件所有试次平均。

频域：

对平均后的ERP进行快速傅里叶转换并提取振幅。通过从每个频率振幅中减去周围20个bin的平均值进行基线校正，排除相邻的两个bin。最后，对于每个被试和条件，oddball频率及其显著谐波的基线校正总和提供了神经人脸识别的指标。谐波显著性水平被定义为所有的条件平均Z分数低于1.64 (p <.05)。

统计分析：

运用iMPA4工具箱进行线性回归以探索再认阶段注视点偏向（注视持续时间的Z分数）和面部辨别神经信号（FPVS反应的振幅）的关系。

为探索同一被试的注视点地形图是否与EEG反应有强相关，研究中随机选择被试的注视点地形如与另一个被试的EEG反应进行相关检验，并进行了线性回归分析。这个过程重复了1000次。研究运用严格的方法控制了显著性的取值。研究对学习阶段的眼动数据也进行了如上述的统计分析。

眼动和FPVS反应结果：

群体和个体层面的注视点及神经信号描述

在个体层面，多数被试的注视点地形图并没有很完美地拟合总平均的地形图，这证明了特征视觉采样策略的存在。总平均之后的面孔辨别神经反应振幅随着VPs的变化而变化，在中央注视位置时振幅最大。然而，神经反应的振幅也因被试的不同而呈现出不同态势。详见图3。

图3 注视点地形图

如果您对脑电数据处理感兴趣，欢迎参阅思影科技脑电课程及数据处理服务，可添加微信：siyingyxf详细了解：

第七届脑电数据处理入门班（重庆）

第十九届脑电数据处理中级班（南京）

第六届脑电信号数据处理提高班（南京）

思影数据处理业务四：EEG/ERP数据处理

回归分析：注视点与神经反应之间的关系

对个体注视持续时间和FPVS反应的数据进行了数据驱动的回归分析，结果显示了右侧枕颞叶和中顶电极簇上的正相关。枕颞叶电极簇包含12个显著的电极，最大效应出现在P10、最小效应出现在P9。尽管注视点与神经反应在被试间存在差异，但所有的被试都发现了这种正相关。中顶区电极簇包含13个电极点，最大效应出现在C1最小效应出现在FCz。详见图5，表2。

图5 注视持续时间与面部识别神经反应之间的关系图

表2 EEG结果数值统计图

为探究相同被试的注视点地形图与EEG反应是否相关良好，对不同被试之间的EEG反应与注视点地形图进行了相关分析。第一个和第二个注视点的统计分析发现了显著的结果，但在学习阶段只有第一个注视点上发现了显著的效应。详见图6，表3。

图6 注视点偏向数据结果图

表3 学习阶段回归分析结果

特定注视点偏好可以解释本研究中发现的关系吗？

为探究在再认阶段被试展示出的注视点偏好能否预期注视点和神经反应之间的强相关，本研究首先按照振幅对每个被试的注视点地形图进行排序，发现展现出相同注视点模式的被试之间相关性强度可能不同，但不同注释模式被试之间的相关性强度反而接近。计算每个被试注视点地形图与总平均注视点模式之间的距离并将该距离与相关强度（注视点与神经反应）之间计算斯皮尔曼相关，并没有发现两者的显著相关关系。这表明，注视点偏好可能不是本研究发现结果的解释性原因，其原因可能主要受到个体注视策略的调节。详见图7。

图7 注视点地形图和注视点-神经反应相关关系强度图

总结：

本研究探讨了面孔特征视觉采样策略和不同面孔注视点下的面孔辨别神经反应振幅之间的关系。结果表明，每个被试视觉信息采样的方法是不同的，并且这种差异与神经反应呈显著正相关。具体地，在自由观看状态下注视点集中时间更久的位置会诱发更大的面孔辨别神经反应。总而言之，本研究发现，面部信息处理过程包含明显的特征取样策略和对优先取样信息独特的神经反应。而基于第一个注视点或者第二个注视点的分析同样发现了这样的关系可能说明这种特征注视策略在面部信息处理进程的早期就被唤醒。