AI教父Geoff Hinton和深度学习的40年

大数据文摘出品

坚持你所相信的，直到世界追上你的脚步。

因为伤了背，Geoff Hinton已经站着工作了12年，似乎巧合地迎合了现在“站立工作”的这股风潮。

“我领先于潮流，”Hinton说。

不仅仅是这一点，Hinton更广为人知的“领先于潮流”，是在深度学习领域。在所有人都不看好神经网络的年头，是他，将这一技术带进了主流学术界。

Bloomberg近日为这位“深度学习教父”拍摄了一段特写纪录片，用短短8分钟，讲述了这位“有点皮”的教授关于神经网络的40年传奇经历。

为什么是AI教父？

今天，混AI圈的人鲜有人没听过Geoff Hinton。他是谷歌大脑研究小组的负责人，多伦多大学的荣誉教授。而奠定了他在今天人工智能圈“教父”地位的，是他在多层神经网络技术的贡献。

Hinton对AI的贡献有多大呢？

学术点说，Hinton在1986年提出的通过反向传播来训练深度网络理论，标志着深度学习发展的一大转机，为近年来人工智能的发展奠定了基础。

更实际点说，今天谷歌中通过语音识别进行图片检索、在手机上把语音转化为文字的技术的实现，大部分功劳要归于Hinton博士的研究。

他的研究，彻底改变了人工智能，乃至整个人类发展的轨迹。

从研究大脑，到尝试制作一个

Geoff Hinton出生在英国一家“书香门第”，家人多是数学家和经济学家，这样的“学霸爸妈”显然让Hinton的童年不太好过，正如他自己所说：“我大概在7岁的时候就意识到，不读博是不行了（微笑脸）。”

而最初把Hinton引上人工智能这条路的，是他对人脑的好奇。

Hinton很早就沉迷于大脑如何工作的问题。于是，他开始进入生理学，解剖大脑以了解其工作方式。

不满足于此，他又开始学习心理学。最后，他决定更多地使用计算机科学的方法来模拟大脑，并进入人工智能领域，开始了他近40年的研究生涯。

“我认为，如果你真的想了解一个非常复杂的装置，比如大脑，那你就制作一个。”

坚信神经网络：“其他人都错了”

尽管现在已经成为了人工智能的主流研究方法，神经网络在最初问世时，命途多舛。

1956年，美国认知心理学家弗兰克·罗森布拉特（Frank Rosenblatt）基于神经元的理论发明了一种模拟神经元的方法。它的基本点是一个被称为神经元的小单位的集合。 这些集合都是小的计算单元，但可以模拟人脑计算的方式。和我们从感官中获取数据一样，这些神经元可以获取传入数据并进行学习，所以神经网络可以随着时间的推移做出决定。

但是，Rosenblatt的学习算法当时对于多层结构的神经网络不起作用。人工智能学者们也因此放弃了学习式软件的想法。他们转而使用逻辑来产生智能——比如下棋的能力。

几乎没人再相信神经网络的前景，也没人再研究神经网络。

除了Hinton。

“大脑是一个巨大的神经网络，因此，神经网络必须也是可以工作的，因为它在我们的大脑中起作用。”Hinton说。

“那是什么支持着你不放弃？”

“其他人都错了（everyone else is wrong）。”

离开五角大楼，成为“加拿大之光”

为了找到一个支持他研究神经网络的栖身之处，Hinton在美国辗转多地。但是，当时大部分的学术研究都是受到国防部支持。

而Hinton对于这样拿到自己的研究经费并不满意：“我不希望我的研究成果被用在一些不善意的目标上。”

的确，深度学习从诞生之日起，就与国防部的一些军事目的有着不可分割的渊源。

甚至直至今天依然如此——今年3月谷歌被曝光正参与Maven项目，向美国军方提供TensorFlow APIs和无人机图像识别技术，引起巨大争议和众多抗议，6月谷歌不得不承诺不将AI用于武器。这场声势浩大的争论甚至将战火燃到了李飞飞身上。

而关于AI伦理和技术人员责任的争论也从来没有停止过。

近两年，将算法用来自动识别一起犯罪是否属于团伙犯罪，或识别一个人是否是同性恋的研究屡见不鲜，算法的缔造者是否应该在研究之外分出心力，了解自己研究背后更深的影响呢？

在40年前，Hinton的选择或许已经给出了他的答案。

为了避免为五角大楼服务，Hinton最终落脚在加拿大的多伦多大学。这个国家欢迎他，也支持他的神经网络研究。“去这个文明的小镇继续研究对我来说非常有吸引力。”

而HIinton也没有让加拿大失望。

正因为Hinton和他的学生的研究，加拿大现在已经成为人工智能研究的重要力量之一，多家人工智能巨头都将他们的研究中心开在了多伦多，各种前沿人才为了追随Hinton的脚步，络绎不绝地来到这座北方国度：“Hinton将加拿大拉入了AI超级大国的版图。”

坚持你认为对的，直到世界追上你的脚步

在多伦多，Hinton和他的团队研究出了更深度的神经网络，以解决更复杂的问题。他们共同开发了一个多层神经网络，这个深度神经网络也被应用于多个方面。

比如有人用它在80年代就打造了一辆无人车并且开上了路。

而现在已经是深度学习的另一位领袖人物、Facebook的AI实验室负责人Yann LeCun则利用深度神经网络建立了一个可以识别手写数字的系统。这一系统最终实现了商用。

在当时，深度神经网络的前景似乎一片大好，但是，现实中的故事往往没有这么简单。

Hinton的研究再次遇到了瓶颈。

“我们当时并没有足够的数据，也没有足够的计算机运行能力，AI和计算机科学的从业者认为神经网络是一厢情愿的想法。”

但Hinton始终坚持着，尽管完全不被重视。

他坐在房间的最角落里参加学术会议，在大牛云集的人工智能会议上完全不被重视。甚至他自己也开始产生了怀疑：“有很多次我都觉得我不会继续这项工作了”。

直到这个世界开始慢慢追上他的脚步。

2006年，计算机的运行速度有了巨大的提高，超快速芯片的到来以及互联网上产生的大量数据使得Hinton的算法变得非常神奇。突然之间，计算机开始可以识别图像中的内容，可以识别语音，可以将一种语言翻译成另一种语言。

2012年，Geoffry Hinton和他的团队带着 AlexNet参加了那一年的 ImageNet ILSVRC 挑战赛，以惊人的优势获胜（错误率比第二名低了足足 10%）。这篇被 NIPS 2012 收录的论文被认为是深度学习热的开启。

同年，“神经网络”和“机器学习”等词汇也开始在纽约时报的头版出现。

“人们终于理解了这个概念，我感到很欣慰。”Hinton这样说。

推翻自己，胶囊网络的提出

尽管已经成为了深度学习的领袖人物，Hinton的脚步却从没有停歇。2017年10月26日，Hinton发表了一篇在AI圈掀起轩然大波的论文——Capsule Networks（胶囊网络）。

Hinton高喊，“卷积神经网络（CNN）的时代已经过去了！”，将他过去几十年的研究翻了过去。

感兴趣的读者可以查看论文。

论文链接：

https://arxiv.org/pdf/1710.09829v1.pdf

尽管胶囊网络现在仍然处在婴儿期，在训练庞大的数据集时，仍可能会遇到问题，但在未来，Hinton相信它还有发展的巨大潜力。

也许，这位深度学习教父还将再次改写深度学习的发展历程。

【今日机器学习概念】

Have a Great Definition