【专利解密】Facebook深度感测技术为“智能眼镜”注入灵魂VR

【嘉德点评】Facebook的深度感测专利，提出了一种光深度感测系统，可实现高分辨率近距离深度感测，同时其三维深度映射信息还可用于视觉跟踪，相比于现有的ToF技术，该方法可提供更高的分辨率和深度映射，具有更高的应用价值。

集微网消息，前不久Facebook公司表示将结合VR（虚拟现实）、AR（增强现实）技术以及Essilor的先进镜头，在明年发布其第一副智能眼镜，并基于此开发一系列软硬件生态，从智能硬件的角度使得用户沉浸在数字环境中，体验全新的VR与AR。

虚拟现实技术涉及三位体感信息，包括距离和深度，目前市场上已经有许多用于距离和深度感测的技术，如立体三角测量技术、TOF技术等。其中三角测量技术是利用两个不同的照相机对物体成像，并使用两张图像中的对应点来确定到物体的距离。TOF技术通过利用发射激光脉冲测量发射和反射激光脉冲之间的飞行时间，以计算反射激光脉冲的物体的深度。然而这些技术都会受到它们所在环境的限制，如TOF技术在近距离的环境中难以解决短时间的脉冲传播问题。

基于此，Facebook公司在前不久公布了一项名为“结构光深度感应”的专利（专利号：US20200074651A1），申请人为Facebook技术公司。

图1 智能眼镜示例图

图1是发明中提到的智能眼镜的示例表示，图中包括照相机和生成用于近眼深度感测的相移干涉图案波导。镜头121包括波导150，可引导显示器130产生图像光。显示设备可为LCD、OLED、micro-LED显示器等。镜片121在用户看到透明光的情况下,可促进增强现实或混合现实,用户不但可查看来自她周围环境的场景光,还可以通过波导接收来自引向眼睛的图像光150，从而具有光学组合器的作用。

图1中的多个波导160相互耦合，接收来自诸如红外光、激光器等相干照明光170，并将其作为第一和第二光投射到眼箱区域，并产生干涉图案，相干照明光可以是红外光和170的光源。相机147定位为从眼罩区域接收红外图像,该红外图像由镜头121中包含的“热镜”组合器反射，并将场景光线图形传递给佩戴者的眼睛。另外，相机147可通过所匹配波长范围的光，并拒绝其他波长范围，通过将相机、波导和相干照明源置于同侧，可有助于佩戴者双眼的近眼深度感应。

图2 近距离深度感测流程图

图2展示了用于近距离深度感测的方法流程图，即感测30cm内的物体深度，并可用于确定眼睛凝视,捕获用户生物特征、分析各种运动场景等。首先由发射锥483在眼眶区域产生三种干涉图案，其中波导需将相干照明光进行投影，并提取第一、第二特征（605）。然后捕获由相机产生的干涉图案相对应的各个干涉图像（610），最终利用上述三干涉图像生成多个眼睛深度值，并进而生成眼睛的三维图像。另外，眼睛深度值或三维映射可用于追踪，并改变指向用户眼睛的显示图像，并利用多种模糊滤波算法对图像进行处理，为佩戴者用户提供聚焦提示。

简而言之，Facebook的这项专利以智能眼镜为载体，提出了一种光深度感测系统，可促进高分辨率近距离深度感测，同时三维深度映射可以用于视觉跟踪，相比于现有的ToF技术，该方法可提供更高的分辨率和深度映射，具有很好的应用价值。

Facebook紧随AR与VR技术发展的热潮，并不断研究能替代智能手机的智能眼镜，甚至是不同于现有IOS和Android的新型操作系统生态，智能眼镜在未来的智能终端领域如何发展，就让我们共同期待吧。