苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

本文由腾讯数码独家发布

早在今年3月，苹果公司就发布了一份名为“苹果公司队伍一项关于未来虚拟现实键盘的专利”的报告。这项专利主要的意思就是，在未来，用户们不需要实体键盘，只需要戴上头显，然后在任何桌面上都可以投射出虚拟键盘，就比如说航空公司的下拉托盘都作为虚拟键盘。与传统笔记本键盘不同，这款新型的虚拟键盘将为用户提供在公共空间工作的私人空间。

为了开发一款精确度比较高的虚拟键盘，苹果公司一直在研究开发先进的计算机视觉技术。在这项专利申请中，苹果电脑视觉和机器学习主管Daniel Kurtz解释了如何利用基于深度的触摸检测系统，研发下一代虚拟键盘和鼠标技术。Daniel Kurtz于2015年因为苹果收购Metaio来到苹果，他表示这种形式的触摸检测也可能适用于未来的VR游戏。

收购Metaio两年后，苹果在2017年全球开发者大会上推出了AR技术。其软件高级副总裁Craig Federighi演示了如何用iPhone将虚拟的物体放在面前的桌子上。他首先是把一个虚拟咖啡杯放在桌子上，然后在咖啡杯旁边加了一盏灯，当他移动台灯时，我们看到咖啡杯的影子甚至会实时移动。苹果团队现在所做的不仅仅是在用户面前展示AR物体，而是更进一步，让用户能够实时与AR物体进行交互。

而苹果专利的主要重点是与虚拟键盘进行实时交互，但我们想象这一下，这项发明或许还可以增强VR游戏的互动性，想象一下，在游戏中开门，驾驶汽车，拿武器，与敌人激战这些动作都可以更加真实，而不是只是按Xbox或PS4上的按钮。如果苹果团队能及时将这项技术推向市场，那么潜力将是巨大的。还有苹果的TrueDepth相机，在很多方面也会起到很重要的作用。

专利背景

Daniel Kurtz首先简要说明了一下现有系统的不足，然后解释了苹果的这项发明是如何克服基于深度的虚拟触摸检测中的某些问题。首先，他指出，检测到用户的手指何时接触到真实的环境平面，可以使用户和硬件系统(例如计算机或游戏系统)之间实现更直观真实的交互。

使用相机进行触摸检测比使用嵌入式传感器(如电容式传感器)有很多优势。此外一些现代数码设备，如头戴式设备(HMD)和智能手机都配备了视觉传感器，包括深度相机，比如苹果的所有iPhone X型号上的TrueDepth相机。目前基于深度的触摸检测方法可以使用深度相机来测量相机和手指之间以及相机和表面之间的距离。

一种方法有缺点就是不能应用于动态场景。另一种方法可以首先识别手指，然后从指尖中心开始填充邻近的像素，这样当填充足够时，就可以检测到触摸。但是由于这种方法没有考虑对像素深度数据标准化，因此很容易出错。另一种方法是，根据预先计算好的参考系、对手部轮廓的分析和深度曲线的拟合来确定的。

这些方法都需要预先定义阈值来区分触摸和非触摸条件，还有就是要考虑到距离，当手指距离平面10毫米或以下时，可表示触摸。

专利：基于深度的触摸检测

苹果的发专利涵盖了以下概念，首先是提供一种基于深度的触摸检测方法，用于获取表面场景的深度图，深度图包含多个值(例如，深度图可以来自深度传感器以及一个或多个光学相机)；识别深度图的第一区域，识别对象(例如，该对象可以是手指、手写笔或其他光学不透明对象)；根据第一区域识别深度图的表面区域，(例如，该表面可以是平面的或非平面的)。最后根据获得输出，当输出表示物体与表面接触时，执行第一个肯定性操作(如执行与“鼠标点击”相对应的操作)。

上面所述触摸检测操作可帮助改进接受非键盘输入的计算设备或系统的功能。可以通过使用任意的表面(例如桌面或其他表面)来进行输入操作，而不用传统的键盘和其他设备(例如鼠标或手写笔)。通过改进传统输入方式，可以进一步改进计算机系统的功能，用户可以在任意环境下使用键盘。

下面的苹果专利数据说明了基于深度的触摸检测操作的各个方面信息。苹果的专利图3A是流程图形式，关于触摸检测操作。

这项由美国专利局公布的苹果专利申请最初是在2017年第三季度提交的。考虑到这是一项专利申请，目前还不清楚该技术是否能够实现以及上市的时间。