AR 云重要核心技术和近期发展

本文为“AR边缘云技术”专题系列第3篇，本公众号将继续推出“AR边缘云技术”专题系列文章，与各位分享相关信息，敬请持续关注！

1

基于SLAM的空间及3D结构语

在 AR 的核心技术图谱上，3D 空间感知和3D 对象的空间结构的感知一直占据了非常重要的地位和位置，传统基于激光的方法和基于光学的 SLAM 方法比较偏重于单纯空间结构的感知和分割，对于内容的语义和上下文场景的感知，还处于比较初级的阶段。

由于缺少语义信息，它们不能直接用于构建更高级的人物交互（HTI）通道。

同时，深度学习已极大地提高了识别性能，但是这种识别大部分限于图像平面中的输出，或者在最佳情况下使用 3D 边界框完成一定意义上的语义空间结构表示，但这会使机器人或者准确数字信息叠加很难根据这些略显粗糙的输出进行操作。

将学到的知识和语义与 3D 重建相集成是解决这个问题的有希望的途径。

例如，近年来提出的语义 3D 重建技术共同优化了场景的 3D 结构和语义，并且语义 SLAM 方法向所估计的 3D 结构添加了语义注释。

目前最新的语义 3D 重构和语义 SLAM 的挑战在于使用大型综合数据集所探寻的 3D 重建技术与识别和学习相结合的新方法，进而实现在 3D 重建技术中使用语义信息来改善密集匹配过程，并更有效的实现语义分割和 3D 技术之间的反馈环。

这也必将为构建更高级的人物交互（HTI）通道和泛化 AR 云服务场景开辟无比宽阔的发展之路。

2

基于空间地图的POI注册和同步

和传统 AR 云服务相比，基于地理位置感知和兴趣点标注技术自 2018 年已经成为各个巨头推广和布局的重头，除了谷歌基于 GoogleMap 的 Live View，以及微软作为 Microsoft 扩展推出的云 AR 平台，称为 SpatialAnchor（空间锚点）。

基于空间地图的 POI 注册和同步技术的核心是地理位置强化的锚点技术（Anchor),——“空间锚点代表着系统应随时间推移跟踪的一个重要点”。

同时也是相关数据构建、同步、检索、管理等综合系统技术的突破，这也包含了相关 SLAM 语义感知以及基于神经网络的大规模特征比对技术的进步。

起初锚点只是让虚拟物体在 AR 场景中看起来待在原地不动，起源自依赖于在现实世界的记录中检测到的关键点及其描述符。

随着强大的环境理解功能的演进，同时辅助 3D 高精度地图功能，空间计算功能，基于空间地图的 POI 注册和同步技术，就为数字孪生，以及实现真实世界和物理世界的无缝集成提供了可能。

3

基于空间位置的数字信息簇管理和搜索技术

如何基于将视觉感知转化为高精度 LBS（Location Based Service）的可视化信息的管理锚点和检索锚点是发展 AR 作为人物交互核心手段和发展相关业务的重要因素。

这需要将相关数字信息归类和管理为：

1- 在哪儿？

2- 是谁的一部分？

3- 能开展什么功能，并上传什么数据？

加州理工伯克利（Berkeley）分校电气和计算机学院 David E. Culler 教授在智能建筑的基于位置关联数据管理的尝试， “Brick”, 就非常具有借鉴意义。

“Brick”源于资源描述框架（RDF: Resource Description Framework)。

其通过以一组被称作三元组的主题预测对象表示知识。

所有基于位置的关联系统信息在“Brick”中通过三元组中主体实体与另一些实体对象关系的抽象表示，即图中的定向边缘，予以表征。

最终整个数据体系的管理体现为，由关系（定向边缘）相连的实体（节点）的知识图表，并通过 RDF格式存储和使用，以及后续可通过使用 SPARQL 数学来遍历和查询这些知识。

基于以上知识体系，所有关联信息包含了：

◆物理世界目标的分类标签；

◆地理位置；

◆关联关系和关联目标；

◆隶属和组成关系机器对应对象；

◆提供什么检测数据或可开展何种控制动作。

END