深度学习何时将迎来“消亡”

人工智能，一个被寄予“神奇魔法”的词语，甚至被认为是可以改变未来的技术，难道也有消亡的一天？

听听这位人工智能教授怎么说。

文︱Sridhar Mahadevan

图︱Quora

本文作者：斯里达（Sridhar Mahadevan）

在个人简介中，斯里达在人工智能和机器学习领域拥有30多年的研究和教学经验，1990年取得罗格斯大学计算机科学博士学位，从2001年到至今，担任马萨诸塞大学阿默斯特分校教授。

这是他在Quora中的答案：

当AI/ML社群意识到两个事实时，深度学习最终将迎来“消亡”：

1.不管怎么缩小训练集上的错误（无论大小），都不足以解决AI问题；

2.其次，对科学理论的真正检验不是对某些固定数据集进行预测的准确性，而是对问题的洞察力。

正如前麻省理工学院教授，经典书籍《Structure of Scientific Revolutions》（“科学革命的结构”）的作者托马斯·库恩（Thomas Kuhn）所指出的那样，科学就像许多其他人类职业一样，在这些职业中，推动者并没有朝着某种绝对的真理方向发展，而是受一系列“范式”（世界观）影响，且得到该领域工作者的默许和毫无保留的信任。

深度学习是一种“范式”，它要求对一组核心信念绝对忠诚：最重要的是，在某些固定数据集上得到错误最小化的性能，但最终解决方案的可解释性一点也不重要。

当AI研究人员意识到这两项原则没必要时，深度学习将会消亡，而这非但没有推动人工智能作为一门科学的进步，反而阻碍了它的发展。

让我们来研究这两个核心信念。以具有广泛影响力的ImageNet视觉数据集为例，该数据集在过去几年普及了深度学习。

计算机视觉社区已经完全接受了这样的假设，即在ImageNet上产生较低错误的任何网络，无论它多么难以理解或是由数千个层组成，都是该领域“向前发展”的标志。下面这张图表衡量了这个问题的“进展”（一张老数据表）:

现在人工智能的表现比人类所能做到的“更好”。如果你认为这个结果意味着我们在理解人类视觉方面取得了真正的进步，或者认为计算机视觉系统总体上优于人类视觉，那么你就是深度学习的真正信徒。也许是时候退一步问问自己一些基本的问题了：我们的感知能力是否可以通过ImageNet等数据集来量化？我们知道这些庞大的参数化网络在做什么吗？

正如诺贝尔奖获得者理查德·费曼（Richard Feynman）在挑战者号航天飞机灾难报告的附录中指出的所说：“对于一项成功的技术，科学必须优先于公共关系，因为自然不会被愚弄。”

任何人都可以做一个简单的实验，来测试这些ImageNet衍生的网络在现实世界中是否真正有效。下载最新版本的MATLAB和计算机视觉/深度学习工具箱，将网络摄像头连接到笔记本电脑上，并在家里四处走动，运行测试程序。然后你会发现......糟透了，这个表现比一个两岁孩子，甚至是比我的一条狗都差得多。这些网络给人一种进步的错觉，但这是一种虚假的希望。

我做的第一个测试是把摄像头对准我的客厅：该网站将其归类为“理发店”。反复试验表明，其性能精度低于20%。即使是像杯子或植物这样简单的物件，辨认出它们是什么也要经过很大的挑战。大多数情况下，得到的分类结构非常滑稽。

认识到“皇帝的新装”，我不是第一人。其他许多人也有过这样的经历，其中包括约翰·霍普金斯大学著名视觉认知教授艾伦·尤伊尔（Alan Yuille）。

视觉深度学习的局限性，以及我们如何解决它们

尤伊尔教授在他的文章中指出：“深度网络在基准数据集上表现良好，但在数据集之外的真实世界图像上可能会失败。”他还给出了简单的例子来说明这一点，“深度网络对图像的变化过于敏感，并不能骗过人类的眼睛。”

在深度学习的支持下，有人称它为预料之中。ImageNet并不庞大，只有几百万张图片。也许当我们使用10亿或1万亿张图片乃至更大数据时，在某个时刻我们一定会取得真正的成功。但是，正如尤伊尔再次指出的那样:“现实世界的图像集在组合上非常大，因此任何数据集，无论多大，都很难代表现实世界的复杂性。”

简而言之，整个范例是基于这样的假设：任何现实世界中的人类能力，无论是感知，语言还是行为，都只是建立一个在某些测试套件上能实现超人类性能的黑匣子，例如ImageNet、Coco或Go。毕竟这肯定能给我们一个具体的、可量化的进度度量，因此我们可以绘制出随时间推移的“进度”。

当AI/ML社群意识到这个“皇帝没有穿衣服”时，深度学习就会消亡。正如诺贝尔经济学奖得主、芝加哥大学经济学家罗伯特·科斯（Robert Coase）毫不客气指出的那样：“科学理论不像公共汽车时刻表，其预测的准确性不是衡量其成功与否的主要标准，而是它所提供的洞察力。”他认为，如果一个较差的预测理论能产生更强的洞察力，他宁愿使用较差的预测理论。

最终，深度学习源于以下信念：人类是制表法学习机，大脑是一块“空白板”，大脑中有1000亿个神经元，每个与多达一千个神经元相连，每个神经元都产生一个搜索空间，这比地球上人类的平均生命秒数大一百万倍，并且梯度下降足以设置这些参数，即使它在生物学上来说是完全不可行的，它无法解释数百万个生物的行为——能够在出生后几秒钟或几分钟内表现出杰出行为。

最近，著名的《自然》杂志上发表了一篇引人入胜的文章，该文章认为整个世界都基于错误的假设，即生物系统的运行是由于某种不可思议的无监督、或是有监督、强化的学习算法。而事实上，在动物出生时，有许多的行为几乎完全是天生的，毕竟要在高强度的危机环境下生存，必须得这么做。

对纯粹学习的批判以及人造神经网络能从动物大脑中学到什么

正如这篇文章所指出的，我们下阳光下寻找钥匙的物理学家，不是因为我们知道哪儿有丢失的钥匙，而是因为那里有光。

训练这样的网络需要大量有标记的示例，这导致人们认为动物必须依靠无监督学习。在这里，我们认为大多数动物的行为不是聪明的学习算法的结果，而是在基因组中的编码。具体来说，动物天生具有高度结构化的大脑连通性，这使得它们能够快速地学习。由于基因表达图谱过于复杂，无法在基因组中明确画出，因此必须通过“遗传瓶颈”对其进行压缩。遗传瓶颈表明了通往能够快速学习的人工神经网络的道路。