终端侧人工智能，给未来更多可能

伴随着大数据、算法、硬件的进步，“人工智能”这一极具未来感的高新科技，正在走入我们的日常生活。从“新一代劳模”扫地机器人，到沙特第一个获得公民身份的“索菲亚”，再到可随身携带的“贴心小管家”……人工智能正在改变着我们的生活。未来，随着人工智能的普及，我们每个人都会拥有属于自己的人工智能助手。

然而，人工智能若要实现真正的普及，仅有云端侧的人工智能并不够，终端侧人工智能同样重要。那么，什么是终端侧人工智能？它的优势又有哪些？我们要如何实现它？今天，就让我们为你好好解答一下。

什么是终端侧人工智能？

在解释终端侧人工智能前，我们先从人工智能定义说起。从广义上讲，“人工智能”描述的是机器与周围世界交互的各种方式。通过软件和硬件的结合——一台“人工智能”设备可以基于硬件，通过算法处理数据，最终模仿人类的行为或像人一样执行任务。而终端侧人工智能就是将人工智能算法在终端上运行。

人工智能需要基于大量数据，由拥有强大运算能力的硬件承载计算，通过算法进行推演处理得出结论。因此，人工智能对硬件的运算能力提出了很高的要求。

终端侧人工智能有何优势？

如果说云是人工智能的大脑，那么智能终端就是感官。把智能终端和云大脑完美结合起来，才是人工智能未来的方向。

云端因其强大的数据汇总能力以及运算处理能力，对于人工智能非常重要。并且，它还可作为终端侧处理的补充而存在。云端可以汇集大数据并完成在终端上运行的许多人工智能推理算法的训练（现阶段）。

但在很多情况下，完全基于云端运行推理也会存在一些问题。比如，在自动驾驶等时延敏感和关键型任务的实时应用中，从终端采集数据，上传到云端，云端再通过算法推演给出解决方案，然后下达到终端，链路太长会产生一定的时延，并且还会受到网络等因素影响。

如果这些应用运行在终端侧，问题将会得到解决。终端侧人工智能是将人工智能算法在终端上运行。与在云端运行的人工智能相比，在终端侧运行人工智能算法具有即时响应、可靠性提升、隐私保护增强，以及高效利用网络带宽等诸多优势。尤其是如今的移动终端已经成为了人们生活中必不可少的角色，终端侧运行的优势更加凸显。

不过，终端侧人工智能并不意味着仅仅在运行终端侧推理。它会与云端协同合作，面向手势识别、连续认证、个性化用户界面和面向自动驾驶的精密地图构建等使用场景进行终端侧人工智能训练。基于高速连接和高性能本地处理，实现最佳的总体系统性能。

如何实现终端侧人工智能？

人工智能的运算需要基于硬件以完成大量的数据处理，因此终端侧人工智能在工作负载这方面提出了挑战。

Qualcomm 于十年前就开始了对人工智能的研究，目前也已经有了许多人工智能用例。十多年来，Qualcomm 在移动终端的专注研究，让骁龙移动平台成为了最高性能移动终端的首选系统级芯片（SoC），可以高效地处理多种计算工作负载。

通过在适宜的计算引擎上运行各种机器学习任务（如 CPU、GPU 和 DSP 等），Qualcomm 可以提供最高效的解决方案。并且这已经集成在了我们的 SoC 中。

Qualcomm Hexagon DSP 就是一个典型范例，它最初是面向其他向量数学密集型工作而设计，但已通过进一步增强用来解决人工智能的工作负载。实际上，在骁龙835 上支持 Qualcomm Hexagon 向量扩展的 Hexagon DSP，与 Qualcomm Kryo CPU 相比，在运行相同工作负载时（GoogleNet Inception网络）能够实现 25 倍能效提升和 8 倍性能提升。

架构的多样性是至关重要的，人工智能的运算不能仅依赖某一类引擎处理所有工作。Qualcomm 还将持续演进面向机器学习工作负载的现有引擎，保持 Qualcomm 在性能表现最大化上的领先优势。并利用对新兴神经网络的研究，专注提升性能表现，以扩展异构计算能力，充分应对未来人工智能工作负载。

我们正大规模普及人工智能

仅有优良硬件还不够，让开发者可以简单便利的使用异构计算很重要。为了弥补这一差距，我们发布了骁龙神经处理引擎（NPE）软件开发包（SDK）。它能缩短终端侧卷积神经网络（CNN）和递归神经网络（RNN）在合适的骁龙引擎（例如 Kryo CPU、Qualcomm Adreno GPU 和 Hexagon DSP）上的运行时间，对图形识别和自然语言处理分别都有着重要作用。相同的开发者 API 给每个引擎都提供接入口，从而使开发者能够方便地无缝切换人工智能任务。

该神经处理引擎还支持通用深度学习模型框架，例如 Caffe/Caffe2 和 TensorFlow。该 SDK 是利用骁龙技术提供最佳性能和功耗的轻量灵活平台，旨在帮助从医疗健康到安全的广泛行业内的开发者和终端设备厂商，在便携式终端上运行它们自己的专有神经网络模型。例如，今年的 F8 大会上，Facebook 和 Qualcomm 宣布合作，支持优化 Facebook 开源深度学习框架 Caffe2，以及 NPE 框架。

在终端侧完成全部或大部分思考的、“始终开启”的智能终端中蕴藏着巨大的机遇，Qualcomm 期待通过研究和产品化推动先进机器学习的发展。

目前，Qualcomm 人工智能平台可通过高效的终端侧机器学习，提供高度响应、高度安全且直观的用户体验。未来还有更多可能。