上世纪80年代末,还在加拿大攻读硕的尤舒亚·本吉奥(Yoshua Bengio)被一个当时并不怎么流行的想法迷住了。那时,有少数从事人工智能研究的计算机科学家试图研发这样一种软件,这种软件可以大致模仿神经元网络在大脑中处理数据的方式,虽然当时并没有证据表明这是一种行得通的想法。
神经元模拟
20多年后,科技行业也后知后觉地爱上了这个想法。近年来,人工智能领域的长足进步使得自动驾驶汽车等项目能达到几乎与人类相差无几的智能程度,而神经网络就是人工智能蓬勃发展的幕后推手。
现在,55岁的本吉奥已成为了蒙特利尔大学的一名教授,就在昨天,他与71岁的杰弗里·欣顿(Geoffrey Hinton)和58岁的杨立昆(Yann LeCun),共同获得了计算机科学的最高奖项——ACM图灵奖(该奖项自1966年起每年颁发一次,以计算机之父
艾伦·图灵
的名字命名)。
从左至右:杨立昆、杰弗里·欣顿、尤舒亚·本吉奥。| 图片来源:Facebook/Google/Bolter AI
他们三人的探索之旅仿佛是一则关于勇气的寓言。在远离追捧与聚光灯的地方,他们潜心研究了几十年,把一个不被看好的、被边缘化的想法,变成了计算机科学中最热门的想法。现如今,他们所倡导的技术已经成为了每家大型科技公司的未来战略的核心。谷歌测试中的软件得以读取医学扫描,特斯拉的自动驾驶仪得以读取道路标志,脸书得以自动删除一些恶毒言论,都是得益于他们三人所创造的技术。
此次将图灵奖授予这三位深度学习的教父,不仅是对他们工作的肯定,更表明了机器学习已经成为了计算机科学中的一个核心领域。
这个学科有一个悠久的传统,那就是重视问题的解决方案的数学证明。但机器学习算法会以一种更为混乱的方式完成任务,它会跟踪数据的统计轨迹,来找到在实际中行之有效的方法,即使我们并不清楚具体是如何做到的。
神经网络是人工智能最古老的方法之一,当这个领域在20世纪50年代末刚起步时就已经建立起来了。研究人员将神经科学家创造的神经元的简单模型改造成数学网络,这种数学网络可以通过让一系列人工的“神经元”对数据进行过滤,来学习如何对数据进行分类。
早期成功的例子包括占据整个房间的感知机马克1号,它能学习如何分辨屏幕上的形状。但当时还不清楚要如何训练具有多层神经元的大型网络,让这项技术超越模拟的小型任务。
欣顿提出的解决方案是训练深度网络。1986年,他与他人共同发表了一篇题为Learning Internal Representations by Error Propagation的开创性论文,提出了全新的反向传播算法。欣顿证明了反向传播算法可以让神经网络去发现其自身对数据的内部表达,从而让利用神经网络来解决之前无法解决的问题成为可能。如今,反向传播算法处于深度学习的核心,但当时这项技术还不够成熟。
杨立昆说:“从90年代中期到21世纪的最初几年,除了少数像我们这样疯狂的人,基本上没有人研究神经网络。”
杨立昆的贡献包括发展了卷积神经网络,上世纪80年代末,他是第一个用手写数字图像训练卷积神经网络系统的人。如今,卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理等领域的一个行业标准。它们在诸多领域均具有广泛应用,例如自动驾驶、医学图像分析、声控助手和信息过滤等等。
本吉奥开创了将深度学习应用于序列(比如语音和理解文本)的方法。但直到本世纪初,在研究人员发现如何利用图形处理器的能力之后,深度学习才触及到更广泛的世界。
一个关键的时刻出现在了2012年,当时,欣顿与他的两名学生一起利用两种算法对卷积神经网络进行了改进。在著名的 ImageNet 比赛中,欣顿和他的学生出人意料地获得了冠军。他们以5次的猜测机会,将10万多张照片正确地分成1000个类别,准确率高达85%,比第二名高出十多个百分点。这一胜利使得原本在该领域备受青睐的方法被抛诸脑后。
2013年初,谷歌收购了由他们三人创立的一家初创公司,自那之后,欣顿便一直留在了那里工作。同年,脸书也聘请了杨立昆。
欣顿说,他和他的合作者能够长期坚持这些不受青睐的想法,是因为在内心深处,他们都是特立独行的人。现在,无论在学术圈还是技术行业,三位获奖者都是主流的一部分。
尽管深度学习已经在实践中取得了诸多成功,但它仍然有许多无法做到的事。神经网络的概念受到的是人类大脑的启发,但它与大脑并没有太多的相似之处。深度学习赋予计算机的智能让它可以在一些简单的任务上表现出众,例如玩某个特定的游戏,识别某些特定的声音等,但它不像人类智能那样具有适应性和通用性。
欣顿和杨立昆说,他们希望能结束现有系统中对人来进行的明确而又广泛的训练的依赖。深度学习项目依赖于大量标注的数据来解释眼前的任务,这是医学等领域所面临的一个主要限制。本吉奥强调,尽管在一些领域我们取得了成功,比如拥有了更好的翻译工具,但这一技术还远远不能正确地理解语言。
三位获奖者称,他们不知道要如何解决余下的这些挑战。他们建议,任何希望在人工智能领域取得下一个突进突破的人,都应效仿他们过去的做法——无视主流想法的意愿。本吉奥说:“他们不应该随波逐流,现在深度学习就是这股洪流。”
参考链接
1.https://awards.acm.org/about/2018-turing
2. https://www.wired.com/story/godfathers-ai-boom-win-computings-highest-honor/
本文经授权转载自微信公众号「原理」。
领取专属 10元无门槛券
私享最新 技术干货