解读手势识别，或许不是VR交互的万能工具

现在主流的VR硬件设备，主要的输入输出设备还是类似传统游戏手柄的外设：Oculus在Touch没发布之前，一直用的是微软的Xbox的手柄；HTC和索尼都有自己研制开发的控制器作为交互工具。

但是如果想要在VR中达到更加自然的交互和沉浸体验，摆脱外设的手势识别必然是未来发展的一个大方向。

手势识别技术的发展

手势识别技术的发展，可以粗略分为两个阶段：二维手势识别以及三维手势识别。

早期的手势识别识别是基于二维彩色图像的识别技术，所谓的二维彩色图像是指通过普通摄像头拍出场景后，得到二维的静态图像，然后再通过计算机图形算法进行图像中内容的识别。二维的手型识别的只能识别出几个静态的手势动作，而且这些动作必须要提前进行预设好。

相比较二维手势识别，三维手势识别增加了一个Z轴的信息，它可以识别各种手型、手势和动作。三维手势识别也是现在手势识别发展的主要方向。不过这种包含一定深度信息的手势识别，需要特别的硬件来实现。常见的有通过传感器和光学摄像头来完成。

根据硬件实现方式的不同，目前行业内所采用的手势识别大约有三种：

结构光（Structure Light），通过激光的折射以及算法计算出物体的位置和深度信息，进而复原整个三维空间。结构光的代表产品有微软的Kinect一代。不过由于以来折射光的落点位移来计算位置，这种技术不能计算出精确的深度信息，对识别的距离也有严格的要求。 光飞时间（Time of Flight），加载一个发光元件，通过CMOS传感器来捕捉计算光子的飞行时间，根据光子飞行时间推算出光子飞行的距离，也就得到了物体的深度信息。代表作品为Intel带手势识别功能的三维摄像头。 多角成像（Multi-camera），现在手势识别领域的佼佼者Leap Motion使用的就是这种技术。它使用两个或者两个以上的摄像头同时采集图像，通过比对这些不同摄像头在同一时刻获得的图像的差别，使用算法来计算深度信息，从而多角三维成像。

手势识别的关键技术

手势识别中最关键的包括对手势动作的跟踪以及后续的计算机数据处理。

关于手势动作捕捉主要是通过光学和传感器两种方式来实现,在此不再赘述原理。手势识别推测的算法，包括模板匹配技术（二维手势识别技术使用的）、通过统计样本特征以及深度学习神经网络技术。

前两种在早期的手势识别技术中运用的比较多，而基于深度学习神经网络的手势识别必然是未来手势识别的趋势。这种技术可以让机器自己去提取特征，它不需要手工特征提取，强大的学习能力使得模型在复杂背景下也能取得理想效果。而且这种算法可以在一定范围内允许运动背景的存在，从而提高了识别的环境耐受力和精细度。

手势识别的应用场景

首先就是游戏娱乐上的应用。以微软的Kinect为例，它主要是搭配xbox游戏机来体验一些趣味性强的游戏，比如，通过手势的动作来控制游戏中的角色做出不同的反应。在娱乐方面，手势识别还可以应用在电视上。像三星、TCL等电视厂商都已经推出了带有手势识别的电视机产品，可以直接用手势来完成移动控制、选择确认、播放等功能。

其次还可以运用在汽车的智能驾驶上。在去年的亚洲CES展上，宝马展出了最新iDrive系统，通过安装在车顶上的3D传感器对驾驶员手势的识别，实现对车辆导航、信息娱乐系统的控制等。

不过，手势识别作为人机交互重要的一环，正如开篇所述，现在最火的应用场景其实是VR。目前像国外的Leap Motion，国内的凌感，都在把研究的重点放在VR的应用中。

手势识别不是VR万能的交互方式

VR的最大特点就是沉浸感和交互性，摆脱外设的手势识别可以加强体验的沉浸感。在虚拟世界里，你可以完全像真实世界中一样去使用你的双手。

问题是对于VR来说，交互并不具备通用性和唯一性的特点。举个例子，如果是一些简单的拾取类的操作，手势识别是非常自然的交互方式。但如果是那种需要使用各式各样武器工具的重型的VR游戏体验，手上空无一物的话，沉浸感和真实性就要大打折扣了。从这个角度来看，手势识别并不是VR万能的交互方式。

但是随着VR硬件技术的不断发展成熟，以及内容开发上的扩展，未来或许会出现多种技术结合的新的交互方式，而手势识别一定是其中不可或缺的一环。

结语：

有了手势识别，VR体验的沉浸感和交互性会大大增强是毋庸置疑的，不过从目前的硬件发展来看，手势识别想要成为VR中最自然的交互方式，还需要等待动作追踪和深度学习算法的深入研究，而且可能还需要与其它交互方式相结合。不过可以预见的是手势识别技术在未来一定会成为我们生活中常见的交互方式，如果再加上语音识别、眼球追踪等等技术，未来我们完全可以做到像好莱坞科幻电影中那样，挥挥手，动动口完成各种交互。