3D视觉传感方案技术介绍
深度传感镜头作为智能手机创新模式，苹果在最新版iPad Pro上搭载了D-ToF（直接飞行时间法）深度传感镜头，推动了3D视觉在消费场景的应用。
- 3D视觉传感技术是一种深度传感技术，除了对象的X和Y值之外，还可以记录Z值。
3D坐标系 主流的3D光学视觉方案：双目立体视觉法（Stereo Vision，在下文称双目法），结构光法（Structured Light，在下文称结构光）以及飞行时间法(Time of Flight, ToF在下文称ToF）
2、双目立体视觉法：tereo Vision
通过三角测量原理来计算图像像素间的位置偏差（视差）来获取物体的三维图像，比如把一只手指放在鼻尖前方，左右眼看到手指会有一个错位的效果，这个位置差被称为视差。相机所要拍摄的物体离相机越近，视差越大，离相机越远，视差就越小。通常采用两个摄像机作为视觉信号的采集设备，通过双输入通道图像采集卡与计算机连接，把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换，最终向计算机提供图像数据。
极线约束
极线校正
上世纪的60年代中期。美国MIT的Lawrence Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。特别是在1982年，David Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用，在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系，使得立体视觉已成为计算机视觉中一个非常重要的分支。
完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。双目立体成像法具有高3D成像分辨率、高精度、高抗强光干扰等优势，而且可以保持低成本。但是需要通过大量的CPU/ASIC演算取得它的深度和幅度信息其算法极为复杂较难实现，同时该技术易受环境因素干扰，对环境光照强度比较敏感，且比较依赖图像本身的特征，因而拍摄暗光场景时表现差。
3、结构光法（Structured Light）
近红外激光器，将具有已知的结构特征（比如离散光斑、条纹光、编码结构光等）的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集三维物体物理表面成像的畸变情况，再通过观测图案与原始图案之前发生的形变由此来得到图案上的各个像素的视差。这个技术通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。其工作原理可看作是另一种双目法，红外激光器和红外摄像头可当做是双目立体视觉法中的左右双目的观测原理。
微软与以色列3D感测公司 PrimeSense合作发布了搭载结构光模组的体感设备Kinect一代，2010年11月上市后，该产品成为 2011 年销售最快的消费电子设备。尽管产品大获成功，但第一代 Kinect 的准确度、图像分辨率和响应速度并不理想。2017年苹果发布iPhone X，首次搭载 3D 结构光模组，可实现3D人脸识别技术，成为苹果近几年最大的创新。 主要结构光方案厂商还有美国的英特尔、高通/Himax，以色列 Mantis Vision 以及国内华为、奥比中光等公司。
结构光的红外激光器发射出了光，可以照亮被扫描物体，所以它不需要像双目结构一样依赖于光源，而且在较平整，没有图案的物体表面也可以测算出物体的三维深度
4 飞行时间法介绍(Time of Flight)
飞行时间，通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测这些发射和接收光脉冲的飞行（往返）时间来得到目标物距离。传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
2006 年 7 月，衍生自CSEM(瑞士电子与微技术中心)的 MESA Imaging公司成立，并推出商用ToF摄像头产品系列 SwissRanger，最开始应用于汽车的被动安全检测。ToF技术首次应用到智能手机是在 2016 年，Google 和联想合作推出了全球首个搭载ToF模组的智能手机 Phab2 Pro，采用的是pmd/英飞凌的ToF方案，该手机可实现一些如三维测量等简易的 AR 应用，但并没有引起市场较大的反响。2018年8月6日,OPPO 在北京召开了ToF技术沟通会, 并在8月23日发布了其首部搭载 ToF 摄像头的智能手机 OPPO R17 Pro,采用了 Sony 的解决方案。随后在 2018 年 12 月，vivo 发布了其首部搭载 ToF 摄像头的智能手机 vivo NEX 双屏版，采用了松下的解决方案; 华为发布了其首部搭载 ToF 摄像头模组的智能手机荣耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。进入 2019 年后，安卓厂商纷纷加入 ToF 镜头的阵营。
它包含几个构建块:(a)脉冲/调制光源（在ToF中一般使用VCSEL，请见下文解释）(b)光学扩散片将光扩散传播出去,接着当光从物体上反射回来时，用(c)一组透镜收集从物体上折射回来的光。接着经过一个滤光片将折射回来的光收集起来并且适当地调整光源的波长，接着通过改善背景噪声抑制令光波可被芯片所识别。最后,测量系统的核心是由固态量程图像传感器(d)，由一组光探测器（像素）组成，能够直接或间接地测量光脉冲从光源到目标并返回传感器所需的飞行时间。该系统还需要一个合适的传感器接口，为传感器提供电源、所需的偏置电压/电流信号、数字控制相位，并从传感器读取数据流，这通常需要进一步的小处理以获得3D体积数据。最后，传感器接口负责与外部（到PC或处理单元）的通信。
ToF 技术具有以下的优点：1、软件复杂性低，设计与应用简单 2、在暗光与强光环境下表现不错 3、功耗不高 4、有较远的探测距离 5、成本低 6、响应速度快，缺点则在于室外受自然光红外线影响大、远距离无法保证精度。
- D-ToF 在经典的飞行时间测量中，直接飞行时间（Direct ToF，D-ToF，下文称为D-ToF）的原理比较直接，即直接发射一个光脉冲，之后测量反射光脉冲和发射光脉冲之间的时间间隔，就可以得到光的飞行时间。探测器系统在发射光脉冲产生的同时启动一个高精度的秒表。当探测到目标发出的光回波时，秒表停止并直接存储往返时间。目标距离z可通过以下简单方程估算：
其中
表示光在空气中传播的速度。D-ToF通常用于单点测距系统，但由于像素级亚纳秒电子秒表的实现困难，D-ToF的成本以及技术难度相较于I-ToF更高。这项技术特别适用于基于SPAD的ToF系统。目前主流的主流的ToF技术所采用的SPAD（single- photon avalanche diode，单光子雪崩二极管）是一种高灵敏度的半导体光电检测器，其被广泛运用于弱光信号检测领域。结合D-ToF技术，可用来精确检测记录光子的时间和空间信息，继而通过三维重极算法进行场景的三维重构。苹果在2020年发布的第四代iPad Pro中就运用到了D-ToF技术。D-ToF的原理看起来虽然很简单，但是实际能达到较高的精度很困难而且成本对比I-ToF要高很多。除了对时钟同步有非常高的精度要求以外，还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而D-ToF中的核心组件SPAD由于制作工艺复杂，能胜任生产任务的厂家并不多，并且集成困难。所以目前研究D-ToF的厂家并不多，更多的是在研究和推动I-ToF。
- I-ToF(Indirect ToF，I-ToF，下文称为I-ToF) D-ToF的另一种解决方案是所谓的间接ToF（Indirect ToF，I-ToF，下文称为I-ToF），而I-ToF的原理则要复杂一些。在I-ToF中，发射的并非一个光脉冲，而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差，通过检测该相位差就能测量出飞行时间，从而估计出距离。其中往返行程时间是从光强度的时间选通测量中间接外推的。在这种情况下，不需要精确的秒表，而是需要时间选通光子计数器或电荷积分器，它们可以在像素级实现，只需较少的计算工作和硅面积。I-ToF是基于ToF相机的电子和照片混合设备的自然解决方案。
- 1、ToF产业链介绍 3D传感产业生态链包括光源、光学单元（透镜及滤光片等）、图像传感器及模组制造等直接硬件环节，此外还包括软件、处理器、3D系统设计等。
- 2、ToF镜头组成核心硬件
- 发光单元 ToF镜头的发光单元通常为能发出特定波长红外线的垂直腔面发射激光器（Vertical-Cavity Surface-Emitting Laser，又译垂直共振腔面射型激光，在下文称VCSEL），VCSEL能以相对较小功率发射出较高的信号。VCSEL是一种半导体，其激光垂直于顶面射出，与一般用切开的独立芯片制成，激光由边缘射出的边射型激光有所不同。传统的光电转换技术一般是用的LED等发光器件，这种发光器多采用的是边缘发射，缺点是体积较大，所以会比较难于半导体技术相结合。20世纪90年代垂直腔表面发射激光VCSEL技术成熟后，解决了发光器件和半导体技术结合的问题，因此迅速得到普及。VCSEL是很有发展前景的新型光电器件，也是光通信中革命性的光发射器件。此外，ToF中泛光照明器的VCSEL输出光束无需经过编码，因此器件制作上更为简单，可供选择的 VCSEL 供应商也更多。顾名思义，边发射激光器是沿平行于衬底表面、垂直于解理面的方向出射，而面发射激光器其出光方向垂直于衬底表面，如下图：
VCSEL 是 3D Sensing 中重要的部件之一，不仅体现在其功能在体现在其价值量之中。随着 3D Sensing 在手机中进一步渗透，VCSEL 的市场规模将随之扩大。ToF不仅可以在手机中使用，还可以在光通讯、激光雷达等多个领域中使用，市场空间巨大。据市场研究机构 Yole 预测，到 2023 年，整个 VCSEL 市场将达到 35 亿美元，年复合增长率达到 48%。VCSEL 领域具有市场大、增长快、应用广等特点，未来对 VCSEL 的关注度将会日渐提升。从图中可看出未来在VCSEL赛道，主要集中的领域是消费电子、工业领域以及通信。VCSEL 是化合物半导体激光器，因此对应化合物半导体产业链，包括晶圆、外延片(EPI)、IC 设计、晶圆代工和封测等环节。
- 准直镜头 利用光的折射原理，将波瓣较宽的衍射图案校准汇聚为窄波瓣的近似平行光。采用准直镜头对 VCSEL 出射光束进行准直、形成散斑等整形处理。WLO（Wafer-level Optics，在下文称为WLO）晶圆级光学器件，是指晶圆级镜头制造技术和工艺。与传统光学器件的加工技术不同，WLO工艺在整片玻璃晶圆上，用半导体工艺批量复制加工镜头，多个镜头晶圆压合在一起，然后切割成单颗镜头，具有尺寸小、高度低、一致性好等特点。
- DOE扩散片 DOE衍射光学元件（Diffractive Optical Elements，在下文称为DOE）在3D摄像头结构光方案中的作用就是利用光的衍射原理，将激光器的点光源转换为散斑图案（pattern）。首先根据特定衍射图像的光学需求，设计并制作出三维母模，然后根据母模再制作出DOE光栅，光栅表面具有三维的微结构图案，尺寸都在微米级别。激光器发射的线性激光通过DOE的时候发生衍射，衍射光的角度和数量是受DOE上pattern的控制，衍射出来的光斑具备lighting code信息。DOE主要是用于结构光成像技术的摄像头中，DOE的制造成本相对较高。
在ToF的发射成像技术中主要运用的是扩散板（在下文称为Diffuser），主要是为显示器提供一个均匀的面光源，ToF投射器主要包括VCSEL + Diffuser，而ToF的VCSEL并不像结构光那样对编码图案有一定要求，只是最常规的规则排列，器件制作上更为简单，装配精度要求也更低。Diffuser是DOE的一种，也属于波束整形器，用于对输入光束进行均一化，通过使较大折射角处具有更大屈光度，使得较窄的光束扩展到更宽的角度范围内，并具备均匀的照明场。TOF 中的 Diffuser 的设计制作难度，比 3D 结构光点阵投影仪中的 DOE 要简单很多。
根据光大证券测算，考虑到疫情影响预计2020年全球智能机出货量有所下降，滞后的 5G 需求有望在2021年释放，预计 20~21 年全球智能机出货量分别为 12.6/15.0 亿部，其中 iphone 出货量 1.7/2.1 亿部，安卓机 10.9/12.9 亿部。假设 20~21 年前置结构光在 iphone 的渗透率分别为92%/95%，在安卓的渗透2%/5%，推算结构光摄像头出货量 1.8/2.7 亿颗。假设 20~21 年后置 TOF 在 iphone 的渗透率分别为 25%/50%，在安卓的渗透率 7%/15%，加上 ipad 出货量，推算后置 TOF 摄像头出货量 2.7/4.4 亿颗。假定DOE/Diffuser单价1美元测算，对应DOE 20~21年市场规模1.8/2.7亿美元;Diffuser市场规模 2.7/4.4 亿美元;窄带滤光片按 20~21 年单价 1/0.75 美元测算，对应市场规模 9/10.5 亿美元。
- 接收端 窄带滤光片和光学镜头：
ToF模组依靠窄带滤光片和光学镜头来收集反射回的光线。滤光片只允许对应波长的红外线通过，抑制其他光线，并降低噪声。近红外识别系统中所用到的窄带滤光片及超薄高性能镀膜也是基于结构光及ToF的3D摄像头技术关键。3D摄像头在接收反射光时要求只有特定波长的光线能够穿过镜头，拦截频率带之外的光线，即隔离干扰光、通过信号光凸显有用信息，因此需要滤光片在接收端过滤掉非工作波段的光波。
在窄带滤光片赛道，难度和价值量都高于传统摄像头所用的滤光片，目前仅有 VIAVI 和水晶光电的技术较为成熟，这两家也是苹果iPhone X的窄带滤光片供应商。目前全球仅水晶光电和唯亚威(Viavi)两家企业具备大批量供货的能力。
- 接收端：红外CIS（下文称为图像传感器）：
早年的ToF传感器，多采用CCD(Charge-coupled Device，中文为电荷耦合元件，是一种图像传感器，下面简称CCD),而CMOS是另一种目前市场上更为主流的图像传感器(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体，在下文简称CMOS)。CCD的感光利用率更高，但是功耗十分大，发热严重，也是此前ToF方案未能应用在手机中的原因之一。随着图像传感器厂商不断提高CMOS传感器的技术，通过背照式(Backside Illumination，在下文简称BIS)设计、电流辅助光子演示(CPAD)技术，并将高速率多帧图像合成单张图像用以计算最终的深度，在降低图像噪声的同时降低了功耗，从而使ToF应用于手机成为可能，但对应的ToF传感器芯片成本也高出很多。
CMOS图像传感器市场集中度较高，2017年，前十大厂商市场份额合为94%，其中前三家厂商索尼（Sony）、三星（Samsung）、豪威科（Omnivision）市场份额合计占比达73%，CR3较2014年的63%有明显提升。从CIS市场增速来看，根据IC Insights2018年预测，2017-2022年销售额CAGR为8.8%，销售量CAGR为11.7%；根据Yole2018年预测，2017-2023年销售额CAGR为9.4%，而该机构最新预测显示，受到新冠肺炎疫情影响，2020年增速将回落至7%，2021年略有反弹（增速为12%），预计2025年CIS市场规模将达到280亿美元。
未来可能是sensor市场的一个驱动引擎，可以应用在自动驾驶、医疗检测和物体识别等多种新兴领域。未来几年，ToF技术将在终端迎来高速增长。随着ToF技术的不断成熟和应用场景的不断丰富，手机摄像头、手势交互UI（用户界面）、汽车电子ADAS、安防监控等多个领域，对ToF深度传感器的数量需求都将大幅增长。
腾讯云开发者
