苹果专利提出基于电极检测的AR/VR眼动追踪解决方案

查看引用/信息源请点击：映维网Nweon

眼动追踪

（映维网Nweon 2023年04月21日）眼动追踪越发成为头显的标准配置，各家厂商都在积极探索精确、轻型、紧凑和高成本效益的眼动追踪系统。在名为“Eye detection methods and devices”的专利申请中，苹果就介绍了一种可用于头显的眼动追踪方法。

其中，团队希望通过有电极来检测眼睛的运动或眼睛姿势之类的光学事件。需要注意的是，尽管电极检测方式的精度不及基于摄像头的解决方案，但实现成本较低。

在一个实施例中，一个或多个电极可以耦合到介电弹性体材料，而介电弹性材料的形状可以改变，从而改变用户与一个或更多个电极之间的接触，以确保足够的接触和电极信号质量。一个或多个电极可以耦合到压力传感器和控制电路，以监测和调节施加的压力。值得一提的是，电极同时可以作为检测器，并用于唤醒和/或解锁设备。

图3示出了用于检测眼部事件的多个电极304。苹果指出，尽管在图3中未示出，但在一个代表性示例中，电极304可以形成在诸如眼镜或头显的结构中。

电极304可以配置为捕获与一个或多个眼部事件相关联的生理信号的传感器。苹果指出，与基于摄像头的系统相比，电极304可以提供眼动追踪的较低成本实现。

电极304可以在眼睛的视角和输出信号的幅度之间具有线性或几乎线性的关系。通过将多个电极布置在眼睛周围的不同位置，电极304可以提取关于眼睛的方向、运动和/或固定的信息以供进一步处理。

在一个实施例中，电极可以配置为眼电图（EOG）传感器，以提供眼睛的电活动的测量。具体地，EOG传感器可以检测眼睛的角膜和视网膜之间的电压差，并捕获EOG信号。例如，EOG传感器可以配置为提供在眼睛的角膜和视网膜之间形成的偶极子的指示。

可替代地，电极可以被配置为脑电图（EEG）传感器，其捕获EEG信号并提供用户大脑的电活动的测量。不过，苹果的发明主要描述了配置为检测EOG信号的传感器。

在各种示例中，电极304a可以配置为与用户的前额接触，电极304b和304c可以配置成与用户的鼻梁的相对侧接触，电极304和304k可以配置用于与耳朵和/或在耳朵周围接触，电极306e和304f可以配置用于在用户的太阳穴周围接触，电极304g和304h可以配置为在用户的脸颊周围进行接触，并且电极304i和304j可以配置成在用户的眉毛周围进行接触。

电极304的数量可以比图示的更多和/或更少。例如，设备300可以包括两个电极，当被感测时，这两个电极向设备提供一个或多个眼部事件的指示。

在一个实施例中，可以基于相应电极一个或多个电极之间的相对距离来选择电极的位置。参考电极可以布置在与一个或多个其他电极足够远的位置，以便增加参考电极和一个或更多个电极之间的差分信号的幅度。这可以包括电极304-a，其可以提供相对于附加电极对称的参考。

附加地，在操作设备300以配置适当的光学事件感测模态时，可以动态地选择一个或多个参考电极。电极304d和/或电极304k（例如用于EEG感测）可以配置为参考电极，使得参考电极位于离额外的测量电极（例如电极304b和304c）足够远的位置，以增加参考和电极304中的任何一个之间的差分信号的幅度。

例如，第一参考电极可以连接到差分放大器的第一输入，而测量电极连接到差速放大器的第二输入。同时，第二参考电极可以连接到刺激信号。可以选择激励以减轻由于信号路径中的内部和外部分量的失配而出现在第一参考电极和测量电极之间的差分信号的共模噪点影响。

附加地，可以选择刺激以其他方式减轻噪点对设备的感测和操作的影响。在一个实施例中，驱动第二参考电极可以提高对共模噪点的抑制。例如，设备300可以感测60Hz的环境噪声，并且包括在设备300中的控制器可以包括配置为利用与减少60Hz噪声相关联的激励，从而驱动第二参考电极的电路。

在一个实施例中，参考电极可以配置为消除一个或多个信号。多路复用器可以从电极接收输入，并可编程地选择所接收的输入中的任何一个作为参考电极。参考电极可以在不同的电极位置之间交替，并且每次参考电极改变到不同的位置时都可以获得一组电极测量值。

多组电极测量可以组合使用，又可以单独使用，从而优化信号质量和准确性，并获得用于眼睛注视点确定的数据。

电极304可以是“干”电极（例如没有导电凝胶），从而为感测EOG信号提供低成本和实用的解决方案。常规“湿”电极在临床应用之外可能是不舒服和不合适的，并且可能比干电极更昂贵。所以，电极304可以是“干”电极，以确保便携性、可重复使用性、清洁度和舒适性，同时降低成本。

在一个实施例中，电极304可以由一种或多种合适的导电材料形成，例如钢、铜、碳、铝、铜、金、银、锡、锡和/或钛。电极同时可以包括设置在电极一个或多个表面上的涂层，例如泡沫、粉末、膜等。可以适当地选择与电极相关联的材料，以优化皮肤和电极之间的信号质量和阻抗。

当感测EOG信号或其他生理信号时，电极和用户的组织之间的充分接触对于提高信号质量和完整性，以及获得呈现给设备的驱动和/或感测电路的可预测阻抗至关重要。但当设计一种适用于用户的物理和生理特征，以及用户会引入运动的设备时，接触要求可能会带来困难。

例如，人类头部可以提供高度可变的接触表面，包括轮廓和可变的表面条件，包括头发、疤痕组织、汗液等。另外，用户头部的经常性运动可能导致设备移动，从而影响电极接触的完整性。因此，特别是用于眼睛注视和/或检测应用的可穿戴设备解决方案将受益于包括在电极和人体组织之间施加可变压力的机制。

所以在一个实施例中，电极可以耦合到配置为改善电极和用户组织之间的接触的元件。所述元件可以在电测量之前、期间和/或之后向电极施加压力以挤压、拉动和/或使电极变形，从而在电极的一个或多个表面上提供接触力。

施加的力可以更好地将用户组织（例如表皮）和电极机械和电气耦合，从而优化电测量。在一个实施例中，可以通过机械元件施加接触力。

图4示出了包括弹簧销元件的示例电极配置。其中，弹簧销元件用于改善电极和组织之间的耦合。设备400可以被配置为测量一个或多个EOG信号。

如上所述，在电极404和组织414之间提供一致的接触是有利的，使得设备400可以可靠地获得与设备的用户相关联的电脉冲的测量。在一个实施例中，弹簧销410可以耦合到电极以改善电极的一个或更多个表面与组织之间的接触。

弹簧销410和/或电极404可以保持在头显壳体412内。组织414可以对应于电极的使用者的皮肤。当组织与电极接触时，弹簧销可以被压缩，从而在电极上向组织施加力，并提高机械和/或电接触的质量。

在图5A示出的电极配置中，一个或更多个元件可以被激活以改善电极504和组织514之间的耦合。

弹性体516可以夹在电极504A和504B之间。在一个示例中，元件500可以包括用于驱动电极504A和504B的电路518。驱动电极504可以改变弹性体516的形状，并使电极与使用者的组织514一致并接触。

弹性体516可以布置在与电极不同的平面中，使得电场（由施加到电极504A和504B的不同电压引起的）可以改变弹性体的形状。

弹性体516可以由电活性材料形成，电活性材料包括但不限于介电弹性体。介电弹性体可以响应施加的电场提供压缩应力，并且可以在EOG传感系统中提供诸多优势，尤其是当结合到需要坚固、轻便和舒适解决方案的设计中时。

介电弹性体在施加电场的情况下可以表现出高柔性/变形，但在电场不存在或减少的情况下，它可以恢复到初始形式。介电弹性体可以包括丙烯酸、硅酮、聚氨酯、氟弹性体、乙烯-丙烯橡胶和/或任何其他合适的材料，而它们可以响应于电场而经历大的可逆变形。

在图5B中，电路518在第一电极504A和第二电极504B之间施加电压或电流。响应于电压和/或电流的施加，在第一电极504A和第二电极504B之间产生电场。

响应于施加的电场，所产生的静电压力和机械压缩导致位于第一电极504A和第二电极504B之间的弹性体516经历变形（与变形之前的图5A相比），其中弹性体在厚度上收缩并在面积上膨胀。

因为第一电极504A和第二电极504B耦合到弹性体516，所以弹性体的表面积的增加导致电极弯曲或“弯曲”并从头显壳体508突出，导致电极施加在组织514上的力或压力增加。

在一个实施例中，弹性体516可以实现为介电弹性体材料的多层。多层介电弹性体允许产生复杂的形状，以允许更好地接触和/或增加电极与组织的接触表面积。层数将取决于电极在用户之间具有较高可变性的面部区域（例如颧骨、眉毛等）周围的位置。

图6A类似于图5A和5B，但增加了压力传感器622和相关的电子器件。设备600的每个电极对可以耦合到一个或多个相应的压力传感器622。压力传感器622可以耦合到表面和/或集成到电极604A和/或604B中，并且可以向控制器620提供与电极施加到组织614的力相关联的信号和/或数据。

在一个实施例中，设备600的每个电极可以耦合到一个或多个相应的压力传感器，例如一个电极或电极网格。因此，诸如包括一个或多个压力传感器的头戴式设备一方面可以缓和由电极604施加的压力，另一方面可以平衡在电极和组织614之间建立和保持接触的需要，从而使用户感到舒适。

在图6B的示例中，控制器620内的电路在第一电极604A和第二电极604B之间施加电压或电流。响应于电压和/或电流的施加，在第一电极604A和第二电极604B之间产生电场。响应于该加的电场，所产生的静电压力和机械压缩导致位于第一电极604A和第二电极604B之间的弹性体616经历变形（与变形之前的图6A相比），其中弹性体在厚度上收缩并在面积上膨胀。

因为第一电极604A和第二电极604B耦合到弹性体616，所以弹性体的表面积的增加导致电极弯曲或“弯曲”并从壳体608突出。电极604和/或弹性体616与组织614接触，组织614可以对应于用户的组织，例如表皮。

因为压力传感器622与电极604位于同一位置，所以当电极与组织614接触时，压力传感器可以检测电极对组织施加的压力。设备600可以包括控制器620内的控制电路，控制电路连接到压力传感器622以捕获和处理来自压力传感器的压力读数。

可以选择性地监测压力传感器622，而不是连续地监测。例如，鼻/耳电极可以检测大脑信号或指示用户活动的其他信号的存在（例如通过检测EEG和/或EOG信号）。在检测到用户活动时，可以激活其他电极（例如眼睛区域周围），并且可以激活压力传感器电路。

当压力感测被激活时，压力传感器622可以向控制器620提供与电极604施加到组织614的力相关联的信号和/或数据。在一个实施例中，设备600的每个电极可以耦合到一个或多个相应的压力传感器（例如一个电极或电极网格）。

图6C示出了用于调节电极604施加到组织614的压力量的反馈控制系统648。反馈控制系统648可以确保电极604向组织614施加足够的压力以获得准确的电极信号，同时保持所施加压力的相对合适，以确保用户在设备试图优化接触时不会受到过量的机械力。

相关的压力传感器数据可以用作与设备600相关联的闭环反馈控制系统648的一部分。反馈控制系统648可以包括压力传感器622、比较器652、驱动电路654和弹性体616。

在图6B的实施例中，施加在电极604和组织614之间的实际压力660可以由压力传感器622检测。来自压力传感器622的压力信号650可以被反馈到比较器652，而比较器652可以确定期望压力PO和实际压力660之间的差，并产生差信号656。

期望的压力PO可以是预定的压力水平，期望压力水平提供足以用于精确的眼睛注视确定的电极信号质量。差分信号656可以被馈送到驱动器电路654中，而驱动器电路可以向电极604产生电压信号658，这又可以引起弹性体616的变形的变化和实际压力660的变化。

如果差信号656指示实际压力660小于期望压力P0，则驱动电路654可以修改施加到电极604的电压658，以进一步弯曲或变形弹性体616并增加实际压力660。

在一次或多次迭代之后，反馈控制系统648可以增加实际压力660，直到其达到近似等于期望压力P0的实现压力P。然而，如果差信号656指示实际压力660大于期望压力P0，则驱动电路654可以修改施加到电极604的电压658，以减小弹性体616的弯曲或变形，并减小实际压力660，直到其达到期望压力P0。

反馈控制系统648同时可以确保实际压力660不足以在设备试图优化接触时使用户承受过量的机械力。在一个实施例中，与闭环反馈系统相关联的控制算法可以本地运行。

阻抗测量可以通过同样用于与电极接口的电路来获得。例如，设备600可以包括一个或多个电流源，而所述电流源配置为向用户的身体供应电流。经由电极604测量的电压和电流可以用于计算与感测EOG信号相关联的阻抗。具体地，阻抗可以指示组织614和电极604之间的接触质量。

当与用户组织进行足够的电极接触以产生精确的电极信号时，可以收集和处理电极数据以执行注视点检测和眼动追踪。

其中，多个电极可以被配置为检测与眼睛运动相关的EOG信号。电极可以配置为创建二维坐标图以解释眼球运动。二维坐标图可以与眼睛的旋转有关。电极可以提供眼睛的旋转与电极输出的电压之间的线性或几乎线性的关系。

因此，示例性设备可以检测来自电极的一个或多个电压，并将眼睛的感知旋转计算为处理后的信号。可以使用一个或多个经处理的信号来计算眼睛离开初始位置的旋转，并且可以计算与眼睛运动相对应的向量。可以将矢量投影到假想的冠状平面上，以更好地将眼睛的垂直和/或水平移动与用户界面的垂直和/或水平导航相关联。

值得一提的是，电极同时可以响应于眼睛事件解锁用户的设备600。解锁设备600可以包括向用户提供对设备的一个或多个功能和/或操作模式的访问。

响应于检测到设备600正被用户佩戴，设备可以可选地激活一个或多个组件的功能以改进对眼部事件的检测。在一个实施例中，可以实现少至两个电极来检测唤醒条件。醒条件可以包括检测与用户将设备600放置在其头部上相对应的EOG和/或EEG信号。唤醒条件同时可以附加地包括检测定向眼球运动。

相关专利：Apple Patent | Eye detection methods and devices

名为“Eye detection methods and devices”的苹果专利申请最初在2021年9月提交，并在日前由美国专利商标局公布。