Meta与苏黎世联邦理工学院合作，可将任意表面变成虚拟键盘

在虚拟现实（VR）和增强现实（AR）环境中，文本输入一直是个难题，其繁琐程度和速度远远落后于传统的 PC 和智能手机。

悬浮式虚拟键盘不仅要求用户笨拙地举起双手，逐个按键输入，还缺乏触觉反馈，无法让手腕得到休息。尽管一些 VR 头显如 Quest 支持蓝牙键盘以实现快速打字，但这又意味着用户需要额外携带一个比头显还大的设备。

为了解决这一问题，Meta 与苏黎世联邦理工学院的研究人员共同开发了一种名为 TouchInsight 的软件系统。该系统能够将任意平面转化为虚拟键盘，不仅提供了部分触觉反馈，还让用户的手腕得以休息，同时避免了携带实体键盘的麻烦。

尽管在技术上，开发者已经可以在 Quest 上构建表面锁定的虚拟键盘，但实践中，即使虚拟表面与真实表面的高度有丝毫偏差，也会导致错误率飙升。Meta 去年曾展示过一种解决方案，但其需要在桌子上放置一系列基准标记，且未透露错误率。

而 TouchInsight 系统则无需任何标记或外部硬件，只需将头显放在任意桌子上即可使用。据论文介绍，该系统由六位研究人员共同开发，其最高打字速度可达 70 词每分钟（WPM），平均速度为 37 WPM，虽然略低于普通人在传统键盘上的打字速度（约40 WPM），但已足够满足大多数用户的需求。更重要的是，TouchInsight 的平均未校正错误率仅为 2.9%，远低于之前的解决方案。

TouchInsight 的工作原理是通过一个神经网络来预测触摸事件的时刻、手指接触和触摸位置。它利用双变量高斯分布来表示位置，以解决传感不准确导致的不确定性问题，并通过上下文先验来准确推断用户的预期输入。

此外，TouchInsight 的应用场景不仅限于打字。研究人员表示，该系统还支持混合现实游戏，如打地鼠游戏，玩家可以用手指压扁小地鼠，体验更加真实的互动。

据悉，研究人员将于下周在匹兹堡举行的 ACM 用户界面软件和技术研讨会上演示 TouchInsight 系统。然而，目前尚不清楚 Meta 是否计划近期将 TouchInsight 集成到其 Horizon OS 中。