佳能VR通话体验：低门槛临场通讯方案，但延迟、建模问题明显

此前，佳能曾在CES 2022上展示了一种沉浸式、交互式的VR通话方案：Kokomo，该方案的特点是兼容VR头显和手机，允许VR用户和非VR用户在3D场景或VST模式中通话。近期，该方案推出了抢先预览版本，部分外媒对其进行体验，并分享了实际体验感。

据青亭网了解，Kokomo的原理听起来很简单，只需要一部手机和一台VR头显，比如Quest 2。不过，它具体是如何操作的呢？原来，该方案允许VR用户使用写实的3D Avatar与其他VR用户进行通话，整个过程如下：

首先用手机端app扫描人脸，并生成写实的3D人像模型，该模型将代替VR用户被头显遮住的面部。接着，你需要输入身高，以调整3D虚拟形象的尺寸。

3D形象生成后，Kokomo允许你选择沙漠等虚拟场景，然后便会在场景中叠加你的3D形象。不过由于3D图像分割、建模等技术局限，Kokomo中显示的3D人像并不完美，大部分时间有明显的图像缺失，模拟头显下面部的效果也不佳（只有20%时间有效）。

在进行通话时，VR用户需要将手机放在面前几步远的位置（大概腰的高度），并戴上VR头显。VR中会显示其他VR用户的虚拟化身，而这些虚拟化身的动作，则是由手机摄像头来实时捕捉。

尽管这种设置看起来比较复杂，但实际上比以往需要使用专业动捕、容积摄影工作室的方案成本更低，更容易使用。如果未来Kokomo的实时建模效果能继续提升，将有望成为一种很好的低门槛远程呈现（telepresence）方案。当然，实时传输3D内容在延迟等方面依然存在问题，短期内可能难以解决。体验者表示：在测试过程中，与我通话的虚拟化身刷新率可能只有3-4fps，通话体验并不顺畅，打破了沉浸感。

Kokomo的另一个问题是，尽管加入了预先3D建模流程，但在通话中却仅以2D形式显示虚拟化身，这可能是出于对算力、数据传输限制的考虑。

因此，现阶段佳能不打算对Kokomo服务收费，而是希望从早期用户使用中获得反馈，进一步完善产品。