不仅仅是边缘侧人工智能 - Sensory推出私有混合云端语音人工智能

THE SENSORY PRIVATE HYBRID CLOUD

所谓“Private Hybrid”通常用来描述预先部署(on-premise)的私有云及与其运作相关的公有云。

但这并不是Sensory所正在考虑的。相反，Sensory所展望的是一个嵌入式或边缘侧功能，支持运行于公有云或自有网络的预先部署的私有云。

Sensory的Private Hybrid Cloud善于处理人工智能技术，包括唤醒词，语音命令，自然语言理解，生物识别和声音识别(sound identification)，计算视觉和其他。更重要的是，我们聚焦于对用户隐私的保护。

随着越来越多的设备配置了摄像头和麦克风，人们对于个人可识别信息(PII, Personally Identifiable Information)的隐私保护越来越关注。

我们大部分人都有过在网上搜索某个东西后，马上你就可以看到类似产品的推送。更严重的情况是当私人数据被泄漏，被破解(hacked)，或被钓鱼诱骗获取，会造成严重的财务数据，或个人信息被不法利用。

Sensory的设备端嵌入式(on-device, embedded）人工智能技术采用严格的边缘侧处理，消除了数据被盗的风险。设备端边缘侧数据处理在拥有隐私保护的优势的同时，相应的也有其弊端(downsides)。特别是，升级语音模型变得相当困难，并且给产品带来了极大的内存和算力的成本。

但是，我们可以通过创建一个灵活的融合架构(flexible hybrid architecture)，集合了设备端和云端处理优势的同时，又可以消除隐私的风险。

当然，包括Sensory的大部分人工智能公司可以提供设备端，或者是云端的人工智能解决方案。接下来让我们看看另一种体系架构可以带来什么样的价值 -

通过在设备端执行特征提取(performing feature extraction on-device)，并将特征送到云端用于人工智能推理，系统获得了对隐私的保护，低成本和超低的功耗，和持续改进的能力(continuous improvements)。这种架构适用于包括穿戴设备在内的尺寸紧凑，并且对功耗非常敏感的设备。

非常多的DSP公司正在推出聚焦于人工智能推理(AI inference）的引擎并运行于设备端。这些设备端的推理决策仍然可以收益于，运行于云端更大和更好的引擎的二次验证，进一步提高其准确度，同时保证了设备的高灵敏度(high level of responsiveness)。

采用云端引擎进行二次再验证，同时可以在云端完成新模型的训练和创建，压缩以及面向设备端的更新和分发。

虽然采用如上的云端二阶处理会某种程度上提高边缘侧产品的处理能力需求和功耗，但是却可以带来模型质量的巨大提升，保护了用户的隐私，并保证了设备的随时在线和反应度(responsiveness)。

以上的混合解决方案非常适用于如车载应用，在满足没有互联网连接情况下的设备端人工智能和反应度的同时，有可以保证人工智能引擎和模型的先进性(be state-of-the-art)。

Sensory正在按照如上思路开发混合了云端智能和端侧智能的解决方案 -

• Lightweight, dockerized app deployable on Amazon’s ECS, Azure’s Container Instances, Google’s GKE, or any Kubernetes hardware.
• Written in Go for high performance and versatility.
• Nvidia Triton backend to support deep learning frameworks such as Pytorch, Tensorflow, TensorRT, ONNX, and even custom backends.
• gRPC to facilitate fast device-to-cloud communication with very low latency.

如果有人任何想法和建议，请联系我们。