目前只能做到检测舌头伸出
(映维网Nweon 2023年12月29日)在日前的v60 SDK(Unity和Native)中,Meta发布了一个包含检测舌头伸出的新版本面部追踪OpenXR扩展。根据社区围绕Quest Pro进行的相关演示,我们可以看到用于追踪面部区域的系统能够同时检测舌头伸出,从而支持吐舌头等动作。
延伸阅读:Meta发布支持检测舌头伸出的面部追踪OpenXR插件
https://news.nweon.com/116064
在日前的AMA问答中,Meta首席执行官博斯沃思谈到舌头追踪。他表示这项功能实现起来并不容易,目前只能做到检测舌头伸出。换句话说,我们不能混淆概念,认为v60 SDK已经允许Quest实现舌头追踪。但未来利用AI,系统可能会做到基本的舌头追踪。
由于缺乏摄像头视场覆盖,诸如HTC这样的头显会通过外设组件来实现口舌追踪。但随着Meta发布了一个包含检测舌头伸出的新版本面部追踪OpenXR扩展,社区已经可以通过Quest Pro实现舌头伸出检测,从而支持吐舌头等动作。
根据博斯沃思的解释,由于缺乏足够的摄像头视场覆盖,舌头追踪非常困难,而他们目前系统只能检测舌头伸出。换句话说,我们不能混淆概念,认为v60 SDK已经允许Quest实现舌头追踪。
他解释道:“如果没有一个与人脸保持足够距离并对准嘴巴的摄像头,舌头追踪非常困难。我们没有这样的摄像头配置。我不知道我们能不能做到。但这种配置真的不太适合头显。你能不能加个外接加密狗或诸如此类?或许吧。但我不确定这样子消费者买不买账。我不确定这是不是一个值得的选择。”
博斯沃思进一步补充说:“我并不是说舌头追踪不是一个值得注意的功能,尤其是当体验变得越来越逼真的时候。我们能不能根据听到的声音来更好地估计舌头的位置?这可能是其中一种方案。如果你把舌头伸出来,我们能看到吗?或许从目前摄像头的位置来看,这是可行的。”
根据Meta首席技术官的说法,我们不应该期待先进的舌头追踪。但博斯沃思认为,未来使用人工智能和现有的摄像头,系统可能会实现(基本的)舌头追踪。
领取专属 10元无门槛券
私享最新 技术干货