在虚拟现实(VR)和增强现实(AR)环境中,文本输入一直是个难题,其繁琐程度和速度远远落后于传统的 PC 和智能手机。
悬浮式虚拟键盘不仅要求用户笨拙地举起双手,逐个按键输入,还缺乏触觉反馈,无法让手腕得到休息。尽管一些 VR 头显如 Quest 支持蓝牙键盘以实现快速打字,但这又意味着用户需要额外携带一个比头显还大的设备。
为了解决这一问题,Meta 与苏黎世联邦理工学院的研究人员共同开发了一种名为 TouchInsight 的软件系统。该系统能够将任意平面转化为虚拟键盘,不仅提供了部分触觉反馈,还让用户的手腕得以休息,同时避免了携带实体键盘的麻烦。
尽管在技术上,开发者已经可以在 Quest 上构建表面锁定的虚拟键盘,但实践中,即使虚拟表面与真实表面的高度有丝毫偏差,也会导致错误率飙升。Meta 去年曾展示过一种解决方案,但其需要在桌子上放置一系列基准标记,且未透露错误率。
而 TouchInsight 系统则无需任何标记或外部硬件,只需将头显放在任意桌子上即可使用。据论文介绍,该系统由六位研究人员共同开发,其最高打字速度可达 70 词每分钟(WPM),平均速度为 37 WPM,虽然略低于普通人在传统键盘上的打字速度(约40 WPM),但已足够满足大多数用户的需求。更重要的是,TouchInsight 的平均未校正错误率仅为 2.9%,远低于之前的解决方案。
TouchInsight 的工作原理是通过一个神经网络来预测触摸事件的时刻、手指接触和触摸位置。它利用双变量高斯分布来表示位置,以解决传感不准确导致的不确定性问题,并通过上下文先验来准确推断用户的预期输入。
此外,TouchInsight 的应用场景不仅限于打字。研究人员表示,该系统还支持混合现实游戏,如打地鼠游戏,玩家可以用手指压扁小地鼠,体验更加真实的互动。
据悉,研究人员将于下周在匹兹堡举行的 ACM 用户界面软件和技术研讨会上演示 TouchInsight 系统。然而,目前尚不清楚 Meta 是否计划近期将 TouchInsight 集成到其 Horizon OS 中。
领取专属 10元无门槛券
私享最新 技术干货