AR协作问题，远程协作中需要的底层能力

AR最大的潜在机遇是能够用作交流的媒介，尤其是连接不能身处一地的用户。AR可以用来把一个用户想要分享的信息传达给另一个用户，同时不影响该用户自己本地的真实体验。

远程协作的场景有两个共同点，一是双方所处真实环境不同，二是双方能力不同。经常出现的远程专家场景就是，专家坐镇中央给出建议，工人下到基层完成任务。

在这个场景中，工人一方的优势是在现场，对周围环境有着足够的认知，工人的劣势是无法对当前情况做出准确的判断，所以需要用到轻便易携带且能够方便语音或视频的移动类硬件；而专家一方的优势是，除了自身硬实力之外，还有性能强大的固定类的硬件设施，专家的劣势是不能去到现场。

远程协作就是来解决这种非对称场景的问题。

音视频共享

最基础的功能是实现音视频通话。这个功能本质上和视频会议是一样的，不同之处是双方摄像头拍摄的位置和内容。

在远程协作场景中，专家端需要对现场有足够的了解，达到人不在胜在的程度。如果不考虑成本，完全可以通过多个摄像头无死角覆盖这个区域，但显然不现实。专家只需要一个摄像头代替成为他自己的眼睛，想看哪里就移动到哪里。

眼镜非常适合远程协作，把摄像头放置在一个较高的位置来俯瞰现场，比如戴在我们的头上。远程专家通过音频通道告知现场工人去到指定位置。远程专家也可以通过冻屏功能获取静止图像。

这种类似于视频会议一样的功能实际上不能称为AR增强现实，因为无论是专家端还是工人端看到的都是绝对现实的场景，没有虚拟内容，更谈不上虚实结合。

包含虚拟物体的音视频共享

AR远程协作是包含了虚拟物体的音视频共享。

比如标注功能。真实世界是没有标注的，标注就是增强的虚拟内容。先讨论比较简单的静态标注。静态标注就是把视频截图，然后把图像当做画板，远程专家在画板上添加各种标注。动态标注需要工人一方的视频画面保持稳定，最好是不要有太剧烈的变化，否则就需要大量的工作来绘制增强内容。

AR的能力是传递三维虚拟物体的能力，而不是简单的二维文字标注。目前的AR只是把三维虚拟物体放在固定的位置，比如工人眼镜端的正前方，虚拟物体没有被正确注册到真实场景里。

如果虚拟物体要被正确注册，就需要AR眼镜有几何重建的能力。

包含几何重建的音视频共享

SLAM同步定位与地图构建技术是关键。SLAM的典型应用不在AR、VR，而是在机器人领域，比如这些年流行的家用扫地机器人。

机器人不是人类，它怎么会了解你家里是什么样，它如何去规划扫地路径，它又是如何自己找到回去充电的路？

机器人通过自身的激光雷达或者摄像头再结合SLAM算法，它边走边看同时在机器内部电脑绘制出室内的地图，智能的分析和规划扫地路径。这里面的核心问题就是解决机器人自身定位，让机器人知道自己在哪，不会碰到家具走到死胡同；同时高效绘制地图，完成自动导航的功能。这就是SLAM的简单理解。在机器人领域应用广泛的是激光SLAM。

在VR、AR领域应用的是视觉SLAM。它可以从环境中获取海量的纹理信息从而拥有超强的场景辨识能力。但大量的计算是目前AR眼镜很难做到的。目前的解决方案是工人端拍摄的视频传输到专家端，利用远程专家的高性能工作站完成SLAM重建，然后专家可以进行标注，把工人端需要的注释叠加到视频流中传到工人AR眼镜中。

目前受限于网络传输和算力，AR眼镜中的几何重建功能在实际使用时有明显的延时，按秒记，不是毫秒。