专为轻薄型AR眼镜设计，Reality Labs首席科学家提出全新计算架构

在去年年底的 IEDM 会议上，Meta Reality Labs 的首席科学家 Michael Abrash 阐述了该公司对当代计算架构将如何发展以使我们的科幻概念化的 AR 眼镜成为可能的分析。

虽然当今市场上有一些 AR“眼镜”，但它们都不是真正的普通眼镜大小（甚至是笨重的眼镜）。当今最好的 AR 头戴设备——比如 HoloLens 2 和 Magic Leap 2——仍然更接近眼镜中偏重型的护目镜类，这种形态依旧存在太重而不能整天佩戴（更不用说你戴出门在公众眼中的形象了）。

如果我们要打造真正眼镜大小的 AR 眼镜，具有全天的电池续航时间和令人信服的 AR 体验所需的功能，则需要“一系列根本性的改进——在某些情况下是范式转变——在硬件和软件方面”，Meta 的 XR 组织 Reality Labs 的首席科学家 Michael Abrash 说。

也就是说：Meta 并不相信当前的技术——或者任何人的技术——能够提供每个 AR 概念视频所设想的那些科幻眼镜。

但是，该公司认为它知道应该如何去做以将这种对AR眼镜的幻想变成现实。

Abrash在去年年底的 IEDM 2021 会议上发表讲话，提出了一种新的计算架构的案例，该架构可以满足真正眼镜大小的 AR 设备的需求。

预实现AR眼镜形态

极致低功耗是关键

重新考虑如何在这些设备上处理计算的核心原因是需要大幅降低功耗以满足电池寿命和热量要求。

“我们如何才能将 [移动计算设备的] 电源效率从根本上提高 100 倍甚至 1,000 倍？” 他问。“这将需要对整个堆栈进行深入的系统级重新思考，并对硬件和软件进行端到端的协同设计。在这之前，我们要首先搞清楚现有算力的权限分配走向。”

为此，Abrash 绘制了一张图表，比较了低级计算操作的功耗。

如图所示，最耗能的计算操作是数据传输。这不仅意味着无线数据传输，还意味着将数据从设备内部的一个芯片传输到另一个芯片。更重要的是，图表使用对数刻度；根据图表，将数据传输到 RAM 使用的功率是基本单元的 12,000 倍（在这种情况下是将两个数字相加）。

综上所述，右侧的圆形图显示了 AR 必不可少的技术——SLAM 和手部跟踪——使用它们的大部分功能只是将数据移入和移出 RAM。

“显然，对于低功耗应用（例如轻型 AR 眼镜），尽可能减少数据传输量至关重要，”Abrash 说。

为了实现这一目标，他表示将需要一种新的计算架构——而不是在集中式计算中心之间混洗大量数据——更广泛地在整个系统中分配计算操作，以最大限度地减少浪费的数据传输。

软硬件协同，实现

部分数据传输前预处理

Abrash 说，分布式计算架构的起点可以从 AR 眼镜感知用户周围世界所需的许多摄像头开始。这将涉及在仅通过耗电数据传输通道发送最重要的数据之前对相机传感器本身进行一些初步计算。

为了使这成为可能，Abrash 表示将采用共同设计的硬件和软件，这样硬件的设计就考虑到了一种特定的算法，该算法本质上是硬连线到相机传感器本身——允许在任何数据传输之前对其做预处理，甚至可以绕开数据传输步骤直接产生反馈。

“对最低功耗、最佳要求和尽可能小的外形尺寸的要求相结合，使 XR 传感器成为图像传感器行业的新前沿，”Abrash 说。

可行性验证效果显著

但商用尚需时日

他还透露，Reality Labs 已经开始为此开展工作，甚至创建了一款原型相机传感器，专门针对 AR 眼镜的低功耗、高性能需求而设计。

该传感器使用一组所谓的数字像素传感器，可同时在三个不同的光照水平下捕获每个像素上的数字光值。每个像素都有自己的内存来存储数据，并且可以决定报告三个值中的哪一个（而不是将所有数据发送到另一个芯片来完成这项工作）。

Abrash 说，这不仅降低了功耗，而且还大大增加了传感器的动态范围（它能够在同一图像中捕捉昏暗和明亮的光线水平）。他分享了使用该公司的原型传感器与典型传感器相比拍摄的示例图像，以展示宽动态范围。

在左边的图像中，明亮的灯泡会洗掉图像，导致相机无法捕捉到大部分场景。另一方面，右边的图像不仅可以详细看到灯泡灯丝的极端亮度，还可以看到场景的其他部分。

这种宽动态范围对于未来 AR 眼镜的传感器至关重要，这些眼镜需要在室内光线不足的条件下和晴天一样出色地工作。

即使 Meta 的原型传感器具有 HDR 优势，Abrash 表示它的能效显着提高，在 30 FPS 时仅使用 5mW（他声称，仅低于典型传感器的 25%）。它也可以很好地扩展；尽管它需要更多的功率，但他说传感器每秒可以捕获高达 480 帧。

但是，Meta 想走得更远，在传感器上进行更复杂的计算。

“例如，深度神经网络的浅层部分——用于 XR 工作负载的分割和分类，例如眼动追踪和手部追踪——可以在传感器上实现。”

但这不可能发生，Abrash 说，在更多的硬件创新之前，比如开发“真正的传感器上 ML 计算”所必需的超密集、低功耗内存。

虽然该公司正在试验这些技术，但 Abrash 指出，整个行业需要团结起来才能大规模实现。具体来说，他说“[芯片制造商]开发的 MRAM 技术是开发 AR 眼镜的关键因素。”

“在端到端系统中结合在一起，我们提出的分布式架构，以及我所描述的相关技术，有可能在功率、面积和外形方面实现巨大的改进，”Abrash 总结道。“必须进行必要的改进，使它们变得舒适和实用，足以成为 10 亿人日常生活的一部分。”

商务/投稿（VX）：

微信群联系商务加哦