谷歌曾于2017年夏季,推出了Android版Motion Stills(动图制作软件),为大量Android设备提供出色的视频捕捉和观看体验。随后,谷歌又进一步优化了Motion Stills,使其能够支持Pixel 2中最新的的动态图片功能。
今日,谷歌宣布Android版Motion Stills将正式提供AR模式。在全新的AR模式下,用户只需轻触屏幕,即可将虚拟3D对象放置到静态/动态平面上(桌子、地板、手等),使其能够无缝地与动态的真实环境互动。用户还可将互动录制下来,并剪辑成GIF图或视频。
该AR模式通过实时运动追踪、基于Motion Stills iOS中Motion Text技术的6DoF追踪系统,及YouTube上的隐私模糊功能协同实现。而经过谷歌对其进行的改进和增强,Motion Stills可以利用Android设备上的陀螺仪,实现有趣的AR体验。
用户触摸屏幕时,Motion Stills会将虚拟3D对象“粘贴”到相应位置,使其看起来像是真实场景的一部分。通过假定追踪设备与地平面平行,并根据设备中加速度计传感器提供的,该设备相对地平面的初始定向,可以为摄像头提供6DoF追踪(3个平移DoF,3个旋转DoF),准确地改变和渲染真实场景中的虚拟3D对象。
其中,加速度计传感器提供该设备相对地平面初始定向的原理为:当该设备大致稳定时,加速度计传感器会提供由于地球重力而产生的加速度。对平面而言,重力矢量将平行于跟踪平面的法线,并可精确地提供该设备的初始定向。而即时运动追踪的核心是,将摄像头的平移估计和旋转估计分离,将其视作独立的优化问题。
谷歌表示:“我们根据摄像头的视觉信号,来确定3D对象的平移。首先,我们会观察目标区域明显2D平移和跨帧的相对比例。然后,通过一个简单的针孔照相机模型,将图像平面中对象的平移和缩放,与相机最终的3D平移进行关联。”
谷歌补充道:“该软件系统可以通过图像中3D对象的平移和尺寸的变化,来确定其在两个相机位置C1和C2之间的3D平移(如图)。此外,为了确定被追踪平面的真实距离和深度,我们在现有的追踪器(Motion Text上的追踪器)中添加了比例估计,并在摄像头的视场外增加了区域追踪。”
谷歌对追踪器进行的这种优化,让虚拟3D对象靠近摄像头时,能与真实物体一样,得到精准地尺寸缩放。而当摄像头移开虚拟3D物体放置点并重新移回时,虚拟3D物体将重新出现在与之前大致相同的位置。
谷歌最后表示:“Motion Stills系统可单独处理平移和旋转,所以我们的实时运动追踪不需要经过校准,可在任何带有陀螺仪的Android设备上运行。”
本文由google刊发,属VRPinea原创编译稿件,转载请洽:brand@vrpinea.com
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有