机器学习的商业应用就是把真实的场景,真实的商业应用的经验凝练成对每个数据分析师都有价值的功能,逐渐放到产品中。
本期精编版嘉宾演讲为IBM中国开发中心技术总监&首席架构师Alex Yang带来的分享,看了他讲的内容你会发现,原来机器学习的商业应用已经深入我们生活中的的每一个角落……
现场纪实
很高兴今天来到CDA峰会现场,过去几年我们跟CDA之间有很好的合作。我带来的是吴先生提到的细节的点,分析里面跳出来到达3千米的高空,在这些领域发生了什么,IBM为什么在这个里面进行特殊的处理?我现在是IBM研发中心的技术总监,大部分时间处理跟AI有关的项目上,试图把真实的场景,真实的商业应用的经验能凝练成对每个数据分析师都有价值的功能,逐渐放到产品里面去。
6月27号大家可能关注过,IBM和美国的空军AI实验室准备联合起来做一款新的类人的类脑芯片。这个芯片十分重要,目前已经实现了把去年我们的罗斯芯片放在一起,实现了聚合。整个芯片是以神经元方式来实现的。中间的图是我们给到美国的一个国家实验室的一个图,可以想像16×4放在一起,就是最近我们的一个工作。(详情见分享视频)
做这样的芯片目的是什么呢?我们知道现在大量的,刚才吴先生讲到所有的机损,都用到了神经元网络。当然我们也知道神经网络这种计算算法,在很多不同的领域里给我们带来很多惊喜,当然它也不是唯一能够达到目标的算法。但是因为神经网络带来很多惊喜,我们现在通过大量具体的据的聚合,和各个领域里的数据分析,我们发现很多的计算是需要大规模的计算能力,以及大规模的存储的能力。而以我们现有的机器来看,其实是一个削足适履的过程。所以IBM为什么从传统的机器过渡到类的机器,因为现有的机器是做普通的机损和数值的计算,而大量的机器学习会用到大量的神经元网络类似的,而这个用现有的技术做有很大程度上是削足适履。像用英特尔的芯片必须用GPU才能做好,所以IBM另辟蹊径开辟了类脑芯片。当然不是IBM一家,包括中科院和其他的也在这方面做探索。
这个类脑芯片很重要的特点,就是它对能量的要求,对电池的要求非常低。大家可以想象一下,未来手机可能也是一个神经网络,我的手机可以变成随时随地识别的,见了什么,听了什么都可以看到,都可以实时识别。
下面大家猜一猜这是个什么样的机器?非常巨大,占好几个屋子。有的人可能联想到了,在几十年前IBM的主机,以及后来的小型机,这就是IBM最新的量子计算机,起的名字也很Q,叫MQ。现在IBM量子计算机可以实现五个量子的输出。在这种计算下,用传统的机器,可能若干年我们讲10-25次方天计算的量,目前我们做到的是五个量子的输出。对比一下,为什么五个量子输出也很重要,IBM目标是做到50个量子的输出。为什么是50,而不是49?据说现有的最好的计算机合在一起都做不到49,接近49,如果能做到50,那么就是超越了所有现有的计算机,所以在这个领域IBM也在持续的发力。
为什么要在不同领域去看,因为整个IT行业在发生深刻的变化,这个深刻变化就是过去我们花了几十年时间把信息搜集起来,处理起来,把它放到我们的业务里处理,把它放到我们生活中间,我们生活分分钟都离不开计算机。这个过程我们积累了大量的数据,也积累了大量数据处理的经验,大量的数据处理技术。接下来正在发生的事情,我们希望是很多信息不再需要大规模的人工处理,最好是能够让机器自动理解。这就是过去几年大家看到的风生水起的人工智能,认知计算的领域。IBM叫认知计算是有深厚的背景,随后会讲解。
我们看一下在里面发生的事情,刚才提到自动识别能够自动记住你,后面发生的事情是蛮多的。比如自动识别车牌后,自动识别的车牌是否能够跟你的身份关联在一起?我们知道有些公司,包括IBM在跟一些城市合作,在交通领域进行一些大数据的构造和分析,然后通过多元的数据对不同的行走在,移动在城市轨道的道路,小区等等,凡是在城市范围发生的事情都搜集成立,建立整个城市数据巨大的网。这个数据的网有人叫做城市大脑。当城市大脑到最后的结果是它凝练出若干的智慧的东西,但是数据本身可能还不是很合理的进行分布。随着城市不断发展,未来城市生长,各种各样的数据源会在城市里采集各种各样的数据,这个数据能够实时的话,把各种信息提取出来不断的改进,这样我们就可以构造一个关于这个城市的实时的历史性的数据。根据这些历史数据我们再对这个城市任何一个角落,任何一种区域,任何一种活动进行,进行下一步的决策,那就会有非常大的帮助。
这是通过我们大规模的神经元网络对图像识别。如果说北京市朝阳区有接近几十万的摄像头,如果每个摄像头看到的东西进行拆解,把看到的里面的固定物体是不是一个穿红衣服的人,这个人是女人还是一个小孩儿,所有的细节抓取下来,我们可以描述整个朝阳区的整个城市的走动情况。这是在医学领域的一些变化,这个是斯坦福大学今年初在自然杂志上发表的论文。去年自然杂志第一期发的是阿尔法狗,今年第一期就是发表的这个,它说神经元网络加上一些融合,已经超过了专家,超过皮肤科专家通过图片来识别皮肤癌的比率。
这是一个日本的机器人,这个人和机器的对话已经走到了相当的程度,尤其在英文领域走的非常高。最近大家在微信疯传的一款科大讯飞的翻译器,说一句话就会翻译过来,说的很难听的也会翻过来。人机对话这个事情在过去的两三年发生了深刻的变化,其中一部分是神经元网络带来的巨大的收益。IBM在这里已经持续多年,包括最早的沃森已经开放出来给到各个不同领域。
这个在医学领域,其实IBM在好多研究领域,我们知道在不同的领域所看到的数据是很不一样的,举个例子,我们对黑色素皮肤瘤的病变,这个图像需要很多模型,模型的本身就是一件超难的事情。我们现在探索比较多的,是说在多元的数据的条件之下,怎么样能够通过不同的角度,把同样的事情融合起来说清楚,能够提高整个预测和识别准确率。大家看到这是通过IBM预测方式比别的高0.02个百分点。还有把各种数据综合起来,刚才讲的数据是说结合的不同的模型对不同的图像。这个是结合不同的模型对不同的数据来进行综合。这个是包括把综合的一部分对整个医疗病变诊断的决策进行支撑。
在这里我们知道各种各样的数据领域都在发生深刻的变化,这是IBM前年收购的一家气象公司,这几乎是全球最大的数据公司之一,以前可能不太在意,所有苹果手机上的数据,大部分安卓手机上数据都是来自这家公司的。当然跟中国是跟中国的气象局合作的。它基本的思路是把有人居住的地方,无人居住的划成一公里见方的区域,来采集数据。未来在特别密集的地方采样的密度还会更高。未来大家借助手机传感器可以采样,能够叠加在上面采出更多的数据出来。这个数据影响到非常广泛领域,像在重庆做预测车速的时候,我们发现气候数据对交通有很大的影响。如何把气候的数据融合到交通的,比方GPS数据,手机数据合在一起,这就是一个非常难的问题。今天在分会场专家专门讲解在这个领域上的一些做法。
预测本身是一个,像刚才我们看到经济上做一些预测,它可以指导我们的行动,但是光从数据得到了简单的预测,而不能进一步指导通过这个预测能够进一步的特别这个原因是什么。就像刚才一个例子是说,这个数据是对的,但是他作假。我能够基于这个分析出来,像我能基于数据分析出来一辆车会出事故。类似这样的事情从预测进入到预知。从数据分析来说,它不再是分析本身。
在这里可以看到下午的时候,这是一个大的话题,大家可以去看。这里把车联网数据,把交通,把事件等等所有东西融在一起可以全面了解整个城市的交通运行情况,随后可以做出行管控等事情。像最近一段时间百度可以跟大家说你去查明天从A到B出发的时候,给出一个大概的预估数。这是基于历史的数据做的,早年些Google就有了。
从这样的角度来看的话,把各种数据糅在一起,本质上我们是要把其中的Inside对人,对行为,对业务价值有用的信息提取出来。这个从理论上就是读懂,看懂,听懂。这个过程中就是数据的理解成带有业务价值的信息,把对数据的信息和业务价值关联起来,这是一个非常重要的,从IBM角度来看是如何指导各行各业来利用AI,利用机器学习来更准确的指导商业活动。这过程中推理、学习和挖掘,以及到最终的辅助决策,是我们整个IBM认知计算的基本框架。如果把这个放到更大的范围来看,认知计算实际上是融合了我们通常所讲的人工智能,语境和领域的专长,和它一起,我们持续的学习和自主的学习,到最后是通过人和机器的对话进行交互,帮助真人来进行预测,所以可以看到最终的目标实现从现在的有监督学习过渡到无监督学习过渡到常态学习。整个过程中会对数据本身的需求一层一层的应用提出更高的要求。
因此,在IBM看来在整个数据分析领域里,我们离不开四层架构:底下那层我们用了云,实际上在IBM云既有在外面的公有云部分,也有企业内部的,像工行有大量、海量的数据。换句话说,作为一个企业面对的世界不仅在外有公有云,还有很多在私有云。私有云内部的管理和公有云管理在理念上都适用于四层架构:最底线是云的方式,把有效的数据关系起来。上面的就是把数据进行监控,需要把它血缘搞清楚,需要一层一层处理出来,以便得到结果。再上面就是所谓的AI。AI的平台我们会后会谈到,这就是我们讲的完善的机器学习平台,能够帮助到各位数据分析师能够更好的探测到inside,更好的协同,更好的使模型的生命周期得到演进。上面就是我们建的模型,以这个模型为基础做的应用。这个架构对IBM来说,我们推荐给所有领域内的朋友。
刚才谈到AI平台,AI平台从IBM角度来看,这样一个AI平台是实现支撑认知计算的一个最根本的、最基础的一个要求。如果没有这样一个平台的话我们很难往下推进。如果大家都是散户的方式,自己想起来做什么就做什么,这样很难对企业数据规模庞大,种类繁多的数据进行综合性的融合。
在我们平台还会给出认知的助手,这个助手会自动的帮着模型进行变迁的处理。在运行过程中随着模型新数据不断进来,这个系统会自动识别,如果发生偏差会用新的数据训练这个模型。这样使原来大量手工处理的事情变成自动化,就是从机器学习过渡到一个学习机器。
在后面我们发现有几个趋势,这个趋势就是说数据从大回到了小。这个大和小其实是相对概念。举个例子,很多领域里的数据可以看到它涉及范围很广,搜集到人的点也很多,但是真正把数据拿到手上看,你会发现数据不够。举个例子,要做图形的计算,没有几十万张图,很难把图的特征提取出来。现在过来大量的数据很少,几千张,从医院看就几千张,几万张小孩儿肺结核的照片,仅仅这点数量可能不足以训练出一个模型,所以这是一个蛮大的挑战。
再一个,从深度学习本身逐渐移动到深度推理。深度推理就带着决定性东西出来,这个就是利用深度学习获取的各种Inside再往前看有什么决策体系。从监督学习过渡到无监督学习,最终是从预测过渡到处方性的分析。本质上是利用机器学习,深度学习利用AI来达成对未来处理的帮助。
以上就是我今天给大家汇报的,谢谢大家。