考虑到当前的显示技术,VR 视觉效果只能看起来如此之好,而且我们可能已经接近它们的极限。但是我们的其他感官呢?Facebook 的母公司 Meta 对沉浸式元世界的梦想做出了巨大的承诺,但当前的 VR 交互性是有限的。该魔环任务的控制器,例如,还是觉得更适合比工作游戏。在沉浸式视频、混合现实、面部跟踪和空间音频之后,触觉反馈可能是下一个前沿领域。Meta最新原型硬件的详细信息显示了研究的方向。
长期以来,让您感受虚拟世界的套穿式振动手套的想法一直是我们对 VR 的科幻愿景的一部分。Meta 的研究部门已经在触觉手套上工作了七年,即使现在已经开发出来的手套还不能携带。但他们可能有一天。
我没有机会亲自尝试 Meta 的原型,但该公司的 Reality Labs 研究主管 Sean Keller 和首席科学家 Michael Abrash 向我介绍了最近的发展。他们解释了为什么触觉对 Meta 如此重要,以及这一切都适合 AR 智能眼镜的未来。
用……膀胱做的手套?
Meta 的原型充气气囊手套是朝着最终成为一副消费者手套的方向迈出的一步。然而,对这项技术的新看法表明,我们还需要一段时间才能看到它们与 Quest VR 头显的后继产品捆绑在一起。
最新的手套设计使用微流体技术将空气推过手套的一系列气囊,这在概念上比用许多小马达填充一副手套要简单。这是一个奇怪的想法,就像 Meta 版本的适合您双手的Dune Stillsuit。
“从字面上看,我们正在改变材料的刚度,”凯勒说。“我们有一些使用空气在你的指尖上上下或横向和向内移动东西 - 这有助于你产生剪切力 - 以及产生压力的小气囊。”
但 Meta 相信触觉技术可以做到前所未有的水平。Facebook Reality Labs Research 在 2017 年尝试了一个演示,该演示创造了将不同材料制成的球落到你伸出的手指上的感觉。木球的感觉与大理石球和软软的泡沫球不同。这种错觉是数百个施加压力的气囊(气动执行器)和来自 VR 的视觉输入的组合。根据 Michael Abrash 的说法,它在 2D 屏幕上的工作方式不同,这使得这项技术专门用于 AR 和 VR。
这项技术现在存在于实验室中,但 Meta 的研究表明需要一个完整的触觉渲染引擎。这让人想起 PlayStation 5 的 DualSense 控制器如何需要开发创建沉浸式触觉的新方法,但规模更大、更复杂。
“我手上有所有这些膀胱和东西,他们有管子。下一个,我将有 10 倍。从系统的角度来看,这成为一个大问题,你无法解决它没有有一天建造像微流体微处理器这样的东西,”凯勒说。
Meta 也在努力创造合适的材料以提高耐用性,因此手套实际上可以戴在某个地方。但就目前而言,手套纯粹处于研究模式。
触摸作为一种召唤工具的方式
基于 Meta 演示的演示概念,触觉手套的许多用途现在看起来像是模拟手部活动:玩叠叠乐、拇指摔跤或捡起物体。很多这样的想法已经可以通过手部追踪实现,只是减去物理反馈。
Michael Abrash 认为技术在模拟虚拟工具方面有很大的不同。在键盘上打字,或者拿着实际上并不存在的雕刻工具或画笔,可能意味着触觉最终让在 VR 中工作的想法变得不那么尴尬。当然,就目前而言,这也意味着要戴上系着电缆和管子的大而奇怪的手套,这同样很尴尬。
“问题变成了,手套能在多大程度上模拟工具?我还不知道答案,”亚伯拉什说。“虚拟键盘可以随着你的手移动,所以当你打字时,如果你稍微移动一下,我们仍然可以推断出你想要打字的意思。”
智能眼镜不会使用触觉手套(至少现在不会)
Abrash 不希望智能眼镜一直使用触觉手套;相反,该公司一直在研究肌电图。EMG 使用 腕带,可以感应运动神经元信号,将它们转换为手势和控制。Meta 已经为该技术的发展方向制定了路线图。这些腕带将使用手腕振动进行反馈,但 Meta 的完整触觉手套研究可能会相互配合并产生融合两者的产品。
Abrash 将触觉手套和神经输入视为一个反馈回路,可以使隐形工具发挥作用。但这种技术组合仍然是理论上的:现在,Meta 刚刚接近让触觉感觉令人信服。
“与 EMG 的一个差距是它是单向的,你正在发送信号,但没有反馈,”Abrash 说。“你可以想象的是你将 EMG 和手套结合起来。重点不是从字面上模拟你的手。重点是你的手现在是一个可以提供反馈的表面。”
但是 EMG 现在更接近于出现在真正的技术中,而触觉手套仍然停留在测试实验室中。“我们可能会有一个我们一直使用的输入系统。我不知道它是什么,可能每个人早上都戴上手套,就像维多利亚时代那样——你都戴着手套一天,它也有肌电图,”亚伯拉什说。“但 EMG 是一个非常强大的渠道,让你的大脑以一种完全无摩擦的方式表达它的欲望。对我来说,在 AR 中,很难想象我们将如何在任何接近的时间范围内击败它。它是正在走向产品的技术——我不能告诉你什么时候,但这不是 10 年的事情。有了触觉手套,这是一项研究。我不能告诉你它什么时候发货:这可能是一个10年的事情。它确实满足了不同的需求。这不是一种表达命令的方式,而是一种在世界上实际行动的方式。”
换句话说,Meta 认为 EMG 很快就会进入人们的家中。但我们不会很快看到触觉手套。
元节似乎很接近,但还没有完全到位
Abrash 说他的研究小组专注于比 Meta 的消费品团队正在努力的目标更远的目标,我们不应该期望看到触觉手套即将到来。但他将 Meta 的大部分愿景视为正在进行中的工作,而触觉和未来的输入是其中的重要组成部分。
“七年来,我们一直在构建任何版本的元宇宙都必须建立的支柱,”亚伯拉什谈到他与马克扎克伯格最近的元宇宙承诺有关的进一步工作时说。“如果我们现在有足够好的化身,你和我可能会在 VR 中进行[聊天],对吗?我们只是在构建可以构建元节的底层技术,这就是我们一直在做的事情. 因此,公开的元节对话出现了,我的感觉是,“太好了,我很高兴世界正在迎头赶上,这是一件好事,我们一直在为此做准备。”
领取专属 10元无门槛券
私享最新 技术干货