深度相机的应用和其主要技术

苹果公司一向以技术驱动创新，每年都会在其硬件发布时引入的技术性创新。17年，在其重磅产品iPhone X —— 第十代iPhone身上，我们首次看到了人脸识别解锁：Face ID。

其实苹果公司在2013年就收购了PrimeSense公司，之后一直致力于将PrimeSense的深度相机小型化。iPhone X中最大的创新就是使用了前置深度相机。现在，深度相机的应用已经由智能终端解锁，逐渐延伸至移动支付、活体检测等场景，其背后的技术手段：3D结构光，也渐渐走入了公众视野。

点阵投影在人脸上的示意图（投射的近红外光实际是不可见光）

【结构光】：已知空间方向的投影光线的集合称为结构光。3D顾名思义，在三维空间上投影。基于结构光的三维成像，实际上是三维参数的测量与重现，主要是区别于纯粹的像双目立体视觉之类的被动三维测量技术，需要投射结构光到被测物体上，通过结构光的变形（结构光：Structured Light，或者飞行时间 Time of Flight——ToF）来确定被测物的尺寸参数。3D结构光技术主要是通过近红外激光器发射的具有一定结构特征的光线，投射到被拍摄物体上，再由专门的红外摄像头进行采集。由于这种具备一定结构的光线在被摄物体的不同深度区域，而导致采集后生成的图像相对原始光线结构发生变化，然后通过运算单元将这种结构的变化换算成深度信息，我们便获得了被拍摄物体的三维结构。

目前3D结构光方案主要应用在高端智能机型的解锁上，利用3D结构光成像 比2D人脸解锁更加安全, 技术门槛也自然更高。市场上能拥有自研3D结构光技术能力的企业并不多。

3D结构光的整个系统包含结构光投影设备、摄像机、图像采集和处理系统。其过程就是投影设备发射光线到被测物体上，摄像机拍摄在被测物体上形成的三维光图形，拍摄图像经采集处理系统处理后获得被测物体表面数据。在这个系统中，当相机和投影设备相对位置一定时，投射在被测物体上的光线畸变程度取决于物体表面的深度，所以在拍摄图像中可以得到一张拥有深度的光线图像。 3D结构光模式包含点、线、面的模式，是指投射的光线类型。一般来说，由多条垂直双向的线组成的网络结构最常用，这种模式不需要扫描就可以实现三维的轮廓测量，而且速度快。

【投射图案的编码方式】

结构光法投射的图案需要进行精心设计和编码，结构光编码的方式有很多种，一般分为如下几大类：

1、直接编码（direct coding）

根据图像灰度或者颜色信息编码，需要很宽的光谱范围。

优势：对所有点都进行了编码，理论上可以达到较高的分辨率。

缺点：受环境噪音影响较大，测量精度较差。

时分复用编码（time multiplexing coding）

顾名思义，该技术方案需要投影N个连续序列的不同编码光，接收端根据接收到N个连续的序列图像来每个识别每个编码点。投射的编码光有二进制码（最常用）、N进制码、灰度+相移等方案。

该方案的优点：测量精度很高（最高可达微米级）；可得到较高分辨率深度图（因为有大量的3D投影点）；受物体本身颜色影响很小（采用二进制编码）。

缺点：比较适合静态场景，不适用于动态场景；计算量较大（因为识别一个编码点需要计算连续N次投影）。

空分复用编码（spatial multiplexing coding

根据周围邻域内的一个窗口内所有的点的分布来识别编码。

该技术的优势：适用于运动物体。

缺点：不连续的物体表面可能产生错误的窗口解码（因为遮挡）。

【3D结构光的衍生应用】

· 3D人体测量

人体数据经由3D结构光模组扫描获得，结果可以真实得反映被测者的体态，体格信息。据悉，3D结构光用于测量身高，臂长等信息所需时间在数秒左右，误差可以控制在毫米级，可以被用于人体建模、体征识别等用途。

· 物体体积测量

3D结构光可以测量深度信息，对于物流行业，3D结构光可以用于快速识别物体的长、宽、高信息，由此物流公司可以更好的规化仓储管理，合理利用存储、运输空间，从而提高空间利用率。

· 实物3D建模

深度相机可用于环境感知、3D扫描、SLAM、手势识别等用途，在AR/VR领域增强虚拟现实的融合与互动；图中设备可理解为触屏一体机附加结构光模组，便于设计师快速获取物体三维图像和信息。

· 人脸3D建模

3D结构光可以对人体、面部进行实时建模，对于人脸识别布控场景可减少面部遮挡等因素对结果的影响，因此拥有广泛的应用前景。

· 人脸识别支付

目前指纹支付功能已经非常成熟，人脸识别主要被应用于支付身份核实、登陆身份核实，作以补充。

【3D结构光方案综述】

1、优点

· 由于结构光主动投射编码光，因而非常适合在光照不足（甚至无光）、缺乏纹理的场景使用。

· 结构光投影图案一般经过精心设计，所以在一定范围内可以达到较高的测量精度。

· 技术成熟，深度图像可以做到相对较高的分辨率。

2、缺点

· 室外环境基本不能使用。这是因为在室外容易受到强自然光影响，导致投射的编码光被淹没。增加投射光源的功率可以一定程度上缓解该问题，但是效果并不能让人满意。

· 测量距离较近。物体距离相机越远，物体上的投影图案越大，精度也越差（想象一下手电筒照射远处的情景），相对应的测量精度也越差。所以基于结构光的深度相机测量精度随着距离的增大而大幅降低。因而，往往在近距离场景中应用较多。

· 容易受到光滑平面反光的影响。

3D结构光方案模组倾向于小型化设计，对于芯片设计、生产工艺具有很高要求，因此目前拥有自主3D结构光技术并投入应用的公司并不多：华为、苹果、奥比中光、intel (RealSense)、微软 （kinect）。

现阶段的主要用于高端智能机型上进行解锁、身份核对，解锁/识别准确度与速度均优于指纹识别。在虚拟交互方面，也已被用于体感游戏、手势控制等用途。3D结构光在应用场景落地的技术条件已经具备，更多衍生的应用场景正在开发和尝试当中。