深度学习/神经网络教父：Geoffrey Hinton | 解读大神 | 深度学习三驾马车之一

|大神在多伦多大学的个人主页（最新论文持续更新中，值得follow）：http://www.cs.toronto.edu/~hinton/

|吴恩达在最新课程中有采访Hinton的视频，蛮有意思的：https://study.163.com/my#/smarts

一句话点题：Geoffrey Hinton发明了影响至今的各种 deep learning 的Landmarks：Backprop、RBM (及其学习算法constrastive divergence) 、ReLU network、AlexNet、RMSProp、Dropout...等等。

• 现在的Hinton

感受一下Hinton在多大主页的自我介绍：

Title：谷歌大脑多伦多团队的管理者，多大向量学院首席科学顾问，多大荣誉教授

Geoffrey Hinton 曾获得爱丁堡大学人工智能的博士学位。在 2012 年，Hinton 还获得了加拿大基廉奖（Killam Prizes，有“加拿大诺贝尔奖”之称的国家最高科学奖）。现如今，Hinton和他的深度学习小团队，包括纽约大学的Yann LeCun教授，蒙特利尔大学的Yoshua Bengio教授，在互联网上已然大有名气。作为多伦多大学的教授和研究员，Hinton也同时为Google工作，使用深度学习技术来改进语音识别，图像标记和其他在线工具。LeCun也在Facebook从事类似的工作。AI风靡全球，微软，IBM，百度和许多网络巨头都为之着迷。

深度学习的革命是迟早会发生的，有了NCAP（Hinton创立的Neural Computation and Adaptive Perception（NCAP，神经计算和自适应感知）项目），有了Hinton，微软、Google、雅虎等网络巨头在语音识别、人工视觉系统等方面的发展就提前了许多。

• 以前的Hinton

Hinton 博士是在一个辉煌的科学明星家庭中成长起来的。 他出生在英国，在布里斯托尔长大，父亲是一位昆虫学教授，也是甲虫方面的权威人士。 他是布尔逻辑之父乔治·布尔（Bob Boole）的玄孙。他的中间名来自另一位杰出的亲戚乔治·埃尔弗雷斯，他在印度进行了调查，他使得冠有他的名字的世界最高峰（珠穆朗玛峰）的高度可以被人计算得出。他遵循家庭传统，在1960年代末期前往剑桥读书。 但是当他完成本科学位课程的时候，他意识到没有人了解人类是如何思考的。“我厌倦了学术界，我宁愿做个木匠，”他高兴地回忆说，站在Google白色咖啡馆的高桌上。 那年他22岁，这次职业转换持续了一年的时间，虽然木工至今仍然是他的爱好。

当二战以后，人工智能从信息科学的迷雾中融入研究领域时，科学家们首先认为，他们可以通过构建由大量开关组成的神经网络来模拟突触，从而模拟大脑的运作。但是，由于电脑功能不够强大，因此并没有产生出有意义的结果，所以这种方法渐渐被人们放弃。人工智能研究转而使用逻辑来解决问题。

当 Hinton 听说了爱丁堡大学的一个人工智能计划后，便于1972年搬到那里去获取博士学位。他的指导教师倾向于基于逻辑的方法，但是Hinton着重于人造神经网络的建设，他认为这是模拟人类思维的更好模型。

然而，他的研究并没有让他在英国受到认可与欢迎。 所以在拿到博士学位后，他在美国圣地亚哥担任博士后研究员，与同样一批对神经网络感兴趣的认知心理学家一同工作。他们很快就取得了重大进展。他们开始使用一种称为反向传播算法的公式，最初来源于1974年Paul J. Werbos的哈佛博士学位论文。该算法允许神经网络随着时间的推移学习，从此使之成为深度学习的主力，这个术语现在用于描述基于这些网络的人工智能。

Hinton于1982年在匹兹堡的卡内基梅隆大学任教，那时他结合算法和神经网络使计算机产生一些“有趣的内在表达”，就像他所说的那样。这里有一个关于大脑是如何产生内在表达的例子。当你看一只猫的时候 - 由于某些原因，猫是进行人工智能研究时最受欢迎的主题 – 光线反射到你的视网膜上，而视网膜将光转换成沿着视神经行进到大脑的电脉冲。 那些电脉冲当然跟猫不一样。 然而，大脑将这些电脉冲重新组合，就形成了猫的内在表达，如果你闭上眼睛，你就可以在脑海中看到它。“在人工智能领域，核心要义就是揭示产生内在表达的方法，”Hinton解释道。有趣的是，尽管已经从学术的角度来形成内在表达，但是电脑仍然太慢了，无法以模仿大脑的方式来重新创建它们。

那时候，Hinton 对里根时代的美国政治感到失望。 他同样也不喜欢大多数人工智能研究是由美国军方资助的这件事。加拿大利用一个在加拿大高级研究所进行研究工作的机会吸引了他。于是他搬到多伦多，并最终在该机构设立了一个项目，现在被称为“机器和大脑学习”项目组。他成为了多伦多大学的计算机科学教授，虽然他承认自己从未参加过计算机科学课程。

到2012年，计算机已经变得足够快，让他和他的研究人员能够创建这些内在表达，并且再现我们今天使用的翻译应用程序的一部分语音模式。他在多伦多大学与他的两名学生组成了一家专门从事语音和照片识别的公司（DNNresearch）。谷歌买下了这个业务，所以 Hinton 算是部分加入Google，在那里继续研发神经网络。这笔交易让 Hinton 成了一个富有的人。

2011年，NCAP研究成员同时也是斯坦福大学的副教授Andrew Ng在Google创立并领导了Google Brain项目，今天，Google正在用神经网络来帮助识别Android手机上的语音命令和Google+网络上标记的图像。2010年， Hinton与其他多伦多大学的研究人员加盟了Google ，目的就是要把这项工作做进一步的发展。

• 未来的Hinton

1. “我们希望把AI和CIFAR带到一个美妙的新领域，”Hinton说，“一个还没有人或者程序到达的境界。”
2. 我不太担心现在大家经常讨论的那些问题，就是说变坏的机器人会代替人类接管世界。我更担心的是诸如希特勒、墨索里尼这样的人在科技的帮助下可能会做的事儿。如果这些人拥有智能机器人，后果不堪设想。我认为现在最迫切的一件事就是对 AI 的军事化制定相关的国际政策或者协议。
3. …………

• 别人眼中的Hinton

1. “Geoff就像正能量，每个人都想向他看齐。”Bruno Olshausen，加州大学伯克利分校的Redwood神经系统科学研究中心的主任如是评价。
2. “在过去的20到30年里，他一直在推动着神经网络和深度学习在前进，”余凯，百度深度学习研究院副院长提到，“在此之前，机器学习或者AI技术从未如此对行业产生过如此迅猛的影响。”
3. “你是深度学习的教父，可能我是第一个这样称呼你的人”吴恩达如是说

参考资料：

Geoffrey Hinton，让加拿大成为AI创新之地的助推者：https://www.leiphone.com/news/201706/wb4F0ASnlv927hfH.html

Geoffrey Hinton 是这个人：http://www.52ml.net/1360.html