首先,苹果希望设备可以真正理解镜头中的现实世界。iPhone11系列的摄像过程中频繁用到两个新的图像分析步骤:语义分割和语义渲染。凭借机器学习和计算机视觉,语义分割可以实现影像的物体区域分割,例如识别出哪里是人、哪里是面部,识别出天空、地面、建筑和道路,并且精准分割。而语义渲染则可以对这些分割出来的区域做针对性的处理和优化。并且,这个过程不是静态的,而是对场景进行持续的分析。
于是,设备拥有了初步的环境理解能力。除去这些运算层面的基石,真正让AR技术融入iPhone的,还是前面提到过的ARkit开发工具。它可以单纯从软件算法层面,实现虚拟物体与真实环境的融合。并且随着每年的升级,它可以做到的事情会更多。LiDAR还有两个十分重要的意义。第一,目前苹果的AR布局处在生态构建阶段,需要更多的ARApp来构建这个新的生态。
ARkit是较基础的软件解决方案,新的LiDAR和U1芯片的搭载,则是全新的硬件解决方案。LiDAR作为苹果摄像系统的一部分,承载着ARApp内容生态构建的重要一步。先前的ARkit提供了AR模型的转换和放置,但这还不够,因为很多开发者根本没有接触过三维建模,在AR这样一个全三维环境中,他们的开发过程十分困难,这阻碍了AR的普及。现在有了LiDAR,普通开发者也可以很方便地实现物体扫描建模,创建AR三维模型,这大大简化了ARApp的开发流程。最终成就的,将是一个繁荣的AR服务生态圈。
十几年前,虚拟多点触控取代了实体键盘,成为了人机交互的主要方式。那这一次,又会是什么取代了多点触控呢?LiDAR第二个重要的意义,就是它将会联合原深感镜头模组和ARkit,实现人机交互的颠覆性革新。在未来的AR时代,人机交互将回归人类与环境最自然古老的交互方式:用眼看、用手摸。以ARkit为基础,LiDAR可以探测用户手部动作,直接用手与虚拟物体和信息进行交互,将三维虚拟手势作为主要交互方式。
同时原深感镜头模组会进行眼球追踪,作为辅助交互方式以及信息的显示的基础,简单地说就是看哪里,哪才会有信息窗口,而不是一堆涌出来眼花缭乱。就这样,一个信息主动呈现的、交互无比自然的个人终端就实现了。在很短的将来,iPhone将成为other,真正的王者,AppleGlasses,将在一年后发布。而LiDAR这样一个在苹果的AR发展进程里具有里程碑意义的传感器,将搭载在下一代iPhone中,为iPhone带来一次AR方面的全面革新。
领取专属 10元无门槛券
私享最新 技术干货