AR交互技术，三维时代的交互技术如何实现多模态输入

我们一直生活在三维的时代，但一直在用二维的方式在传递和沟通。

即使是在互联网这样的伟大发明也一样。我们用文字、图片、视频去表达，用鼠标、键盘、手柄等等去控制，我们用伪3D的形式去尝试表现真三维世界。

我们都知道这只是一种过渡，VR、AR、元宇宙的出现让我们再次看到进入真正三维世界的希望。二维式的交互也将革命性升级为三维交互。以我们的头、双手乃至全身为控制器的追踪式三维信息交互。

人和机器之间的沟通交流被称为人机交互。如果这个人机交互系统只支持单一的输入输出通道，那就是单模态，多模态是多种模式组合使用，能更有效地传达信息。

图源网络

AR从早期的投影式增强现实，发展到手持式增强现实，再到现在公认的头戴式增强现实，所支持的输入模态有多种类型。

手持式设备

在计算机的时代人们习惯了用键盘、鼠标这种设备来完成人机交互，所以人类想当然的把二维时代的经验用在三维时代，也用双手来控制一种设备来输入，比如玩游戏时的手柄。

当然普通的游戏手柄还不行，因为普通手柄只是通过按键完成输入，没法获取空间信息，在三维中是不够的。

2006年任天堂公司发售了一款游戏主机Wiimote，Wii的手柄中包含了重力传感器和陀螺仪，通过这两个部件结合，手柄在移动时可以算出方向、位置、速度。

图源网络

这个手柄出现时，现在流行的VR头戴式设备还没有出现。如今的游戏主机所使用的手柄，甚至全部的VR设备都采用这种类型的手柄作为控制器来完成手部输入。

Wii累计销量超过1亿台，远远超过现在VR、AR的销量。后来业内对Wii的评价是，重新定义了游戏机手柄的交互。

手势

比起手持式设备，双手是人类最喜欢也是最擅长用来做人机交互的工具。看看智能手机时代，乔布斯坚持使用手势触控来代替键盘和手写笔。

在三维时代，手势是绝对的主流输入方式。最好当然是直接识别手势，不过还有一种过渡的方式，也是目前比较常见的，就是数据手套。

数据手套是一种人机交互的硬件，可以在虚拟场景中实现对物体的抓取、移动、旋转等动作，为VR系统提供了一种全新的交互手段。产品能够检测手指的弯曲，并定位出手在三维空间中的位置，为我们提供了一种接近真实自然的三维交互手段。

接近真实自然还不是真正的自然，最自然的是用我们自己的双手来完成输入。比如我们在使用HoloLens AR眼镜时可以识别两种核心手势——空中点击和Home手势。

手势识别应用于AR系统人机交互中的优点是，只有当手部进入AR的视野时，当我们的双手在脖子到腰与两肩之间的大致范围时，AR就可以比较准确的识别到。

图源网络

人的手势语言非常丰富，目前AR支持的非常有限。还有一种过渡方式是把二维空间的键盘或屏幕虚拟到三维空间中。比如在VR、AR系统中，当需要我们输入账号密码时，系统会投出来一个浮在空中的键盘布局，让我们通过点击来完成输入。也可以在桌面上投影一个键盘来检测输入。

语音、人体跟踪等其他

除了手持设备以及手势本身，还有如语音控制，人体骨骼跟踪等动作捕捉形式来实现人机输入。

语音输入的方式使用场景单一，对使用环境有较高的要求，只能作为补充方式。

动作捕捉需要依赖摄像机或者深度传感器来处理全身运动以及潜在的变化，难度太大，而且在AR系统中应用不多。

图源网络