把苹果全家桶用于VR全身追踪是什么体验

此前，青亭网曾报道了一项无需摄像头的VR全身追踪方案：Standable: Full Body Estimation（简称SFBE），这套方案就是利用了头显+双手柄数据来模拟预测全身动作数据，效果还算不错。

近期在CHI2023活动上，卡内基梅隆大学Future Interfaces Group科研团队公布了一项类似的研究：IMUPoser，这是一个基于IMU定位的全身姿态预测方案，特点是利用iPhone、Apple Watch、Airpods等常用的电子产品来为VR提供全身追踪数据。相比于此前研发的摄像头全身追踪方案，IMUPoser方案更容易使用，而且成本更低，无需额外的硬件。

在VR中追踪全身难？

为了让VR更容易上手，Meta已经停产了PC VR产品，开始主推VR一体机，并获得了市场广泛欢迎，引发了VR硬件潮流。VR一体机的好处是开箱即用，戴上就能玩，但在功能、硬件性能上依然有局限。

比如为了避免额外的设置和成本，Quest一体机并没有官方的全身追踪配件，在VR中操控全身Avatar时，只能靠头手三点定位和IK算法来预测下半身动作。

此前，FIG曾探索在Quest手柄上加入广角相机来追踪下半身，这样的方案虽然可行，但需要复杂的计算，而且增加了成本。相比之下，如果用几乎人人都有的手机来定位全身姿态，似乎更容易上手。与用手机摄像头追踪姿态不同，IMUPoser使用IMU来定位，这也是VR追踪模块常用的技术，区别是人们更常使用手机、耳机、智能手表，使用IMUPoser意味着无需穿戴特殊的硬件，就能预测全身姿态。

实际上，苹果此前已经为类似的方案申请专利，考虑到苹果拥有比较完整的软硬件生态，而且其穿戴设备通常都具备加速度计、陀螺仪等运动检测传感器，可以很好的定位。未来也许可以让AR/VR头显、手机、智能手表、耳机等设备联动，从而实现全身动作追踪。

算法预测全身姿态

IMUPoser方案的一大重点，是将从手机、智能手表等设备收集（本文用苹果生态，结合 iPhone、以及可选搭配Airpods、Apple Watch，并用MacBook进行数据回流）的数据整合，并计算出用户的全身姿态。其使用的算法基于定制的双向LSTM模型（长短记忆模型），输出SMPL动捕模型。

而手机、手表、耳机可为全身姿态追踪提供足够数据，包括四肢的位置，以及站立、蹲坐等状态。另外，可通过距离传感器识别手机在口袋内部还是外部。还能根据智能手表和手机之间的距离（基于UWB定位），来识别手机在哪个口袋、哪只手上。

当然，IMUPoser定位不仅限于手持手机的场景，当你将手机放在裤兜时，也可以分别追踪左右腿。耳机也是如此，可以放在口袋中。因此可能会出现24种最有可能的搭配，比如智能手表和手机在同一侧手臂上，或是耳机和手机在同一个口袋中。在一些场景中，甚至只能通过一个设备（耳机、手机或手表）来定位IE，全身定位数据不完整。

由于缺少四肢的绝对位置数据，该方案并不是完全准确，经测试手机的实时定位准确性约90.8%，智能手表和耳机的定位准确性接近100%。但当追踪数据小于最低标准时，则需要用预测算法来补偿。比如在预测姿态时可能需要插入预设动作。当IMUPoser识别到用户在行走时，便会假设没用手机、手表定位的一侧手臂、腿也在移动，只是和另一侧不同步（基于人的自然步行姿态）

应用前景

科研人员指出，全身追踪可用于多种场景，比如健身、移动游戏、情景感知、虚拟助手、康复训练等等。

那么IMUPoser能取代更专业的全身动捕工具吗？在准确性上，它还不够，但它可以用来完善、补充已有的运动追踪设备，比如AR/VR头显。

除了数据量不稳定外，IMUPoser的其他限制还包括IMU定位的噪声等等。而且在追踪上半身动作时，如果缺少一只手臂的位置数据，IMUPoser则会复制追踪到的另一只手动作。比如，当你举起一只手打招呼，系统预测的结果却是举双手。

经过验证，科研人员发现下半身追踪最准确的情景，需要用到双腿IMU数据（两个裤兜分别放了手机、耳机）。在缺少部分腿部数据时，则可根据双腿运动的相关规律，来预测出比较合理的动作。参考：acm