2018年人工智能技术三大发展方向

2017年AI成为最火热的技术词汇，大量资本涌入这个领域，在中国催生了一批创业公司，在美国催生了大量的收购。这意味着AI到了泡沫的顶峰，并且还将持续一两年。

AI不是一个新的词汇，而是已经发展几十年的技术。从早期的逻辑推理阶段，到专家系统/归纳学习，到机器学习阶段，再到现在的深度学习阶段，每个阶段都产生一些技术突破，也创造过一系列泡沫。例如在2000年左右第一轮互联网泡沫期，希望用AI让机器能够理解互联网，由此催生了semantic web，目标是让机器能够自己理解信息并且机器间能够自由沟通。 随着VR技术的发展，又出现了一批AI驱动的虚拟人/虚拟助理，可以与人自由交谈，当时异常火爆的Second Life是这个阶段的典型代表。在影视作品中，《黑客帝国》把机器智能想象到了极致，人完全沦为机器产生能源的电池，世界全部是由计算机创造和控制的；《人工智能》和《我，机器人》则给机器人赋予了感情，并将引发新的革命。但是过去每一次技术进步，没有带来人们想象中的应用突破，我认为除了算法缺乏突破外，重要原因是受限于计算力和数据。

2006年开始大数据技术得到迅猛发展，从早期的分布式存储和计算系统（HDFS/Map/Reduce 2006-2009），到SQL on Hadoop （2010-2014是焦点阶段）技术的逐渐成熟，已经解决了大规模数据的存储和统计问题，当大数据技术发展到2015年时，业界的关注焦点转向了机器学习，希望利用分布式计算能力，来解决机器学习算法，尤其是神经网络算法的计算能力问题，使之能够完成高密集的迭代计算，从而提高算法精度。记得2015年我去参加纽约的Hadoop World大会，当时就发现短短一年中诞生了近50家机器学习的创业公司，在提供分布式机器学习的产品或服务。计算框架也产生了分歧，Spark当时擅长统计机器学习，而Google当时刚刚开源的单机版Tensorflow则擅长深度学习。同时深度学习算法上的突破，使得过去多个应用领域，包括计算机视觉、自然语言处理、语音交互、传统机器学习、机器人等过去隔得很远的领域，都能被统一成采用一类深度学习算法，都能高效地得到处理，并且能够轻易地超过过去各自领域积累多年的算法。现在开源的人脸识别算法都可以达到98%的精度，使用深度学习算法，可以比较容易地在ImageNet的竞赛中得到前几名。充分说明了深度学习算法已经成熟。

但是深度学习算法的特性，要求强大的计算能力和大量的样本数据。这两个是深度学习算法广泛应用的两大阻力。解决计算能力的方案之一是采用分布式计算，因此诞生了十多种深度学习的计算框架，例如Tensorflow，Caffe，MxNet等等；方案之二，也有一些公司设计专门的硬件，例如Google TPU，国内的地平线/深鉴科技/寒武纪等，有的将深度学习算法写入到FPGA中，有的设计带特定指令集的处理器，来加速深度学习算法的运行。同时为了提高算法的精度，需要大量的标注数据，因此很多人工智能创业公司都雇佣或外包上百人的团队给他们做数据标注。虽说是障碍，这也是深度学习算法的一个巨大的优势，因为增大数据量就可以提高算法精度，这是传统机器学习算法做不到的。因此对拥有大量样本数据的公司来说，因为已经积累的多年的数据，就容易形成行业壁垒，其他公司，即使是大公司也很难进入与其竞争。

我们在实际应用深度学习算法的过程中发现，随着应用场景的变化，需要重新训练算法来得到合适的模型。我们在车牌识别和交易匹配应用中，发现即使是拥有优秀人工智能科学家的归国创业团队，跟我们也在同一个起跑线上，也需要重头开始重新训练模型。我们利用现有的客户资源和数据优势，从现场视频中制作了几十万张样本，通过样本的采集和算法的优化，使得我们的车牌/车型算法精度远超过了业界知名的公司。

星环从创业之初就开始在机器学习方面进行投入，2015年初也推出了Discover开发工具。Discover产品推出后被几百位客户使用过，积累了大量的经验。但是一方面当时的市场没有这么热，当时的客户仍然觉得机器学习无法发挥真正的价值；另一方面，我们选择了提供编程语言和开发工具的方式，这使得我们产品的受众面比较窄，只有高端的数据科学家才会使用这类产品。

进入2018年，我认为AI有三个发展趋势：

1.AI in Production. AI从一门科学开始转变成一个系统或产品，一句话，AI需要产品化，也必将产品化。随着机器学习和深度学习算法的不断成熟，需要将AI来打造成产品和系统，并在各个领域寻找Killer Applications。但是深度学习仍然面临着很大挑战，需要大量计算能力（需要大量CPU, GPU，FPGA/ASIC的混合计算能力，以及分布式计算能力），需要大量样本和数据，甚至需要大量人工来制作样本（以传递知识给机器）。 这就是为什么Google的首席科学家Jeaf Dean最近召集了一个新的会议，叫做SysML (System and Machine Learning，www.sysml.cc)，试图寻找计算系统和机器学习的结合点，来找到机器学习系统的最佳实现方式，以及开发新的机器学习算法。这个会议的第一个受邀演讲，是介绍如何通过编译器技术，将机器学习算法的算子，编译到不同的后端（CPU，GPU，FPGA等）上高效执行。这是区别于设计专有硬件的一个系统性方法，这个方法具备更好的灵活性，因此备受关注。

2.AI for everyone, 机器学习工具需要更加易用化，更普及，让更多普通人能够使用。目前的一个重要趋势，是使用深度学习技术，来提升AI工具的智能化程度，包括自动建模，自动寻找最优参数，特征工程半自动化等等，使得整个机器学习过程更加智能化/自动化。所有的机器学习工具厂商都开始往这个方向努力，例如DataRobot一直在宣传自动建模（Auto-Modeling）的优势。Google的Li Feifei团队发布的AutoML，使得普通人都可以用这个工具来创建计算机视觉相关的应用。

3.AI in everywhere，AI算法虽然核心，但只是整个系统的一部分，本身不能形成独立的产品，更多地需要将算法应用到各个应用领域中，赋能各个行业，以发挥算法的价值。在2018年，我相信各个行业，各个领域，都在积极地做一些尝试，利用AI来赋能已有的产品或应用，以提高现有产品或服务的智能化水平。自动驾驶是个典型的使用AI提升汽车智能水平的例子。

2018年已来，让我们振奋精神，为AI的未来做好充足的准备。

文章转载自：星环科技作者：孙元浩

Hadoop大数据应用

你也能懂大数据