微软物联网与人工智能分论坛直播

人工智能分论坛深度探讨了物联网和人工智能结合、认知服务与物联网、人工智能工具和平台包括DNN的models、如何优化CNN负载等话题。

物联网和人工智能结合的新时代

微软资深产品市场经理李冕

认知服务和Bot服务：

几个机器语音合成的声音样本已经非常接近人的原声。语音翻译是结合语言转文字和文字转语音两个，中间还加了翻译能力在里面。

什么是知识挖掘，挖掘文档内容的珍贵价值。

微软利用Azure Search来做知识挖掘。运用知识挖掘构建企业内部的知识图谱，把不同知识点整合。

Azure上的机器学习还支持5个点：认知服务模型、全面支持主流框架、高效的AI开放服务、强大的基础架构、灵活的部署方式。

建模的过程花费大量的时间，微软有一个自动化学习。学习加速模型工具。把排列组合的方式一次性做完，automated machine learning。AzureAI包括AI应用和客服、知识挖掘和机器学习。

部署方式灵活，机器学习的能力不止在云端，还可以部署在本地。让人工智能放大并提升人类智能，让人工智能融入应用并惠及每一个人。

人工智能工具和平台

微软研究院资深项目经理李东冰

研究院先发表一些paper论文，然后做一些项目让想法变得更加落实，再把这些孵化项目变成真正的产品和服务的一部分。计算随着时代变迁可以让我们把一些很好的想法变成现实，因为越来越有能力承载这样的算力。2018年有几个领域Top领域在研究包括DeepCache，还有平台的AI工具。

DeepCache能帮助大家做什么事情呢？从当下Mobile趋势下确定视觉移动问题，连续的视觉流怎么被处理呢？要想处理更快更准，利用深度学习网络，DNN的Models。

我们可以看到简单Model可以做到很简单的区分，就是猪猫狗的分类问题。如果想把一个事情做的更好呢？2002年的时候已有八层，2015年微软亚洲研究源发明的就有152层。当它是8层的时候它的出错率是16%，当152层的时候它的出错率只有3.5%。至今天2018年我们成熟度增加的更高，错误率完全降低比人类分辨能力强很多。

CNN的Model有很多层，可以从下表看到不同层的性能情况。怎么来优化CNN的负载呢？

直观的做法是怎么样消减一些Bate，或者怎么把模型压缩一下少消耗一点。我们会找到更好办法。我们的算法就是根据时间局部性特征来进行处理。存储器的位置之后不久的将来会多次引用这个位置，这个叫做时间局部性特征。

除了处理器之间有这样的引用外，在移动设备也是有这样的引用。数据流是由很强的时间局部性特征的，我们利用时间局部性特征做了一个这样的缓存、优化，让它不用重复计算。

例子里面看到大象在走动的时候，背后面的山是没有动的，所以我们可以将背景作为时间局部性特征进行处理。

如果做的更好，可以把背后的山进一步更细的分解，实际上背后的山也不是完全没有动。分解成小块，最优化这个快是如何做缓存的？也就是尽可能去重用CNN里面这些比较像的部分。从一块挪到另一块。

根据这样想法做了一个实验可以看到CNN的层数和性能指标情况。

此外，如果负载变少的时候，耗电量也会下降。反过来看，我们根据时间局部性特征做了缓存是否会对内存要求增加很多呢？实际上实验效果发现内存量怎加并不是很多。只有2%的下降，是可以接收的范围。

针对Online服务，要求延迟和速度和效益之间有个好的权衡点。如何解决这个问题呢？硬件方面会发现CPU能耗能力解决这个问题。

在FKGA工作的同时能得到7倍的提速。

越粗的线表示越多的人问它们能互转换吗？基于这点，我们做了模型之间相互转换的工具，把一个卡备的模型转换成开放式的模型，转换成各种各样的模型。

还有一个工具能够帮助怎么样做work的搜索。

认知服务与物联网

微软首席架构师李婷

人类正常录音录下来的4.41，合成出来语音打分分值到了4.35的成绩。

很多场景下不可能实时会有高带宽和稳定性的连接，还有一些做远程监控时候通常是一个服务发到IoT Hub或数据处理的服务端上去，在实时处理上看一下多少许需要报警，然后再去报警触发黑名单。但是如果指标达到非常危险情况，那就要求边缘端来即时shut down。

还有一些场景在一些环境时而云端，时而边缘。所以AIEdge就是很好智能边缘应用。