深度学习什么时候才会最终消亡？

问：深度学习什么时候才会最终消亡？

答：当人工智能/机器学习社区认识到两个事实时，深度学习最终将“消亡”：最小化训练集上的错误，无论有多大，都不足以解决人工智能问题；其次，对科学理论的真正考验不是它对某些固定数据集进行预测的准确性，而是它为我们提供对问题的洞察程度。

正如前麻省理工学院教授、经典著作《科学革命的结构》的作者托马斯·库恩（Thomas Kuhn）敏锐地指出的那样，科学就像许多其他人类职业一样，其驱动力不是朝着某种绝对真理衡量的进步，而是由一系列“范式”塑造现场工作人员心照不宣、毫无疑问地相信这一点。

深度学习是一种范式，需要对一组核心信念绝对忠诚：最重要的是在某些固定数据集上最小化错误的性能，并且最终解决方案的可解释性一点也不重要。

当人工智能研究人员意识到这两个原则既不是必要的也不是充分的，而且非但没有促进人工智能作为一门科学的进步，而且实际上还在阻碍它时，深度学习就会消亡。

让我们来看看这两个核心信念。以具有广泛影响力的 Imagenet 视觉数据集为例，该数据集在过去几年中普及了深度学习。计算机视觉社区已经接受了这一假设，即任何在 Imagenet 上产生较低误差的网络，无论它多么难以理解，即使它由数千层组成，都是该领域“向前进步”的标志。这是衡量这个问题的“进展”的图表（有些过时）：

现在的表现比人类“更好”了。如果您认为这个结果意味着我们在理解人类视觉方面真正取得了进展，或者计算机视觉系统总体上优于人类视觉，那么您就是深度学习的真正信徒。

也许是时候退后一步，问自己一些基本问题了：我们的感知能力可以通过 图像网这样的数据集来量化吗？我们知道这些大规模过度参数化的十亿参数网络在做什么吗？

正如曼哈顿计划中打破传统的安全破坏者、诺贝尔奖获得者物理学家理查德·费曼（Richard Feynman）在挑战者号航天飞机灾难报告的附录中指出的那样：“对于一项成功的技术，科学必须优先于公共关系，因为大自然是不会被愚弄的”。

你们中的任何人都可以做一个简单的实验来测试这些图像网衍生网络是否真正在现实世界中运行良好。下载最新版本的 MATLAB（可免费一个月使用）和计算机视觉/深度学习工具箱，将网络摄像头连接到您的笔记本电脑，在您的房子周围走动并运行测试程序。

你会发现，就像我一样，它的表现非常糟糕，比一个两岁的孩子甚至我的一只狗还要差得多。这些网络给人一种进步的错觉，但这是一种错误的希望感。

我做的第一个测试是将其指向我的客厅；该网络将其归类为“理发店”。反复测试表明性能准确度低于20%。即使是像杯子或植物这样简单的物体也很难被认出它们的本质。大多数情况下，产生的分类都很搞笑。

我不是第一个指出皇帝没有衣服的人。许多其他人也这样做过，包括约翰·霍普金斯大学彭博视觉认知学杰出教授艾伦·尤尔 (Alan Yuille)。有人在听吗？

问：视觉深度学习的局限性以及我们如何解决它们？

答：Yuille 教授在他的文章中指出，“深度网络在基准数据集上表现良好，但在数据集之外的现实世界图像上可能会严重失败。”。他还指出并给出了简单的例子来说明“深度网络对图像变化过于敏感，这不会欺骗人类观察者”。

有人可能会赞成深度学习，认为这也许是可以预料到的。Imagenet 不够大。只有几百万张图像。也许如果我们使用十亿或一万亿张图像，在某个时候，我们肯定会取得真正的成功。但是，正如艾伦再次指出的那样：“现实世界的图像集组合起来很大，因此任何数据集，无论有多大，都很难代表现实世界的复杂性。”

简而言之，整个范式基于这样的假设：任何现实世界的人类能力，无论是感知、语言还是行为，都只是构建一个黑匣子，在某些测试套件中实现超人的性能，无论是 Imagenet 还是 Coco 或雅达利视频游戏或围棋。毕竟，这无疑为我们提供了具体的、可量化的进展衡量标准，因此我们可以随时间绘制“进展”图。

当人工智能/机器学习社区意识到“皇帝没有穿衣服”时，深度学习就会消亡，正如芝加哥大学诺贝尔奖获得者经济学家罗伯特·科斯愉快地指出的那样，“科学理论不像公交车时刻表”。其预测的准确性并不是其成功的主要衡量标准，而是它提供的洞察力，他认为如果预测理论能产生更大的洞察力，他会更喜欢较差的预测理论。

最终，深度学习的基础是这样的信念：人类是白板学习机器，大脑是一块“白板”，大脑中的 1000 亿个神经元，每个神经元连接到多达 1000 个神经元，每个神经元都会生成一个搜索空间这比地球上人类平均寿命的秒数大一百万倍，并且梯度下降足以设置这些参数，即使它在生物学上完全不可信，或者它不可能解释数百万生物的行为出生后几秒钟或几分钟就能表现出非凡行为的物种。

最近，著名的《自然》杂志上发表了一篇引人入胜的文章，认为这整个事业是基于错误的假设，即生物系统的工作是因为某种神奇的无监督或监督或强化学习算法，而事实上，许多人（如果不是大多数）的行为，动物在出生时几乎完全是硬连线的，如果动物想要在高度敌对的环境中生存，就必须这样做：

问：对纯粹学习的批判以及人工神经网络可以从动物大脑中学习什么？

答：我们就像众所周知的物理学家在灯光下寻找一把钥匙，不是因为我们知道我们在那里丢失了它，而是因为那里有光。相反，本文提出了以下令人着迷的挑战，建议 AI/ML 社区予以关注。本文的摘要巧妙地总结了这一挑战，我将全文引用以强调其非凡的信息：

“在更好的监督学习算法的推动下，人工神经网络 (ANN) 经历了一场革命。然而，与幼年动物（包括人类）形成鲜明对比的是，训练此类网络需要大量标记的示例，这导致人们相信动物必须主要依赖于无监督学习。

在这里，我们认为大多数动物行为并不是聪明的学习算法（监督或无监督）的结果，而是编码在基因组中。具体来说，动物生来就具有高度结构化的大脑连接，这使它们能够非常快速地学习。

由于接线图太复杂，无法在基因组中明确指定，因此必须通过“基因组瓶颈”对其进行压缩。基因组瓶颈表明了一条通往能够快速学习的人工神经网络的道路。”