谷歌推实时运动跟踪方案，大幅改善移动物体追踪效果

9月2日消息，谷歌宣布推出AR实时运动跟踪（Instant Motion Tracking）解决方案，该方案基于开源跨平台框架MediaPipe，对此前的计算机视觉方案Box Tracking（Google Lens采用的追踪定位方案）进行改良，特点是可将2D和3D内容固定在移动的平面上，观感更自然。此外，谷歌还发布了一款开源的安卓演示应用和一个相关AR内容库。

据青亭网了解，Instant Motion Tracking主要作用是将AR虚拟内容当做真实物体一样，固定在真实环境中。这种自然的AR效果，要归功于谷歌不断提升的实时计算机视觉技术。

此前一些AR方案是先拍摄，后叠加渲染，而这个新的方案可以让你一边与AR互动，一边拍摄视频。实现方式是，将AR固定在环境中特定位置，然后可以用身体触碰AR，触发AR的互动反馈。

开发者或用户可将3D贴图或动图固定在视频中，AR动图的效果看起来像是一个3D显示屏，效果看起来足够有趣。

细节方面，为了实现自然的AR效果，Instant Motion Tracking利用6DoF追踪模型对AR进行定位。此外，该方案相当于将摄像头的平移与旋转预测拆分为两个独立的任务，好处是跨平台AR追踪可省略期初的校正环节，摄像头直接捕捉视觉标记。

结合平移和旋转数据后，Instant Motion Tracking方案可以在自然比例下，从6个自由度来追踪目标区域。如此一来，具备摄像头和IMU功能的AR设备就能将AR内容自然叠加在真实画面上。

目前，视频内容创作公司PixelShift.AI已经开始采用Instant Motion Tracking方案，用来帮助VTuber创作MR视频。接下来，谷歌也计划在年内面向VTuber们推出相关产品。