深度学习到瓶颈期了吗？

我就静静地看

修改于 2018-09-12 11:01:33

5480

与早期阶段的所有技术一样，深度学习必须克服许多严峻挑战

深度学习和机器学习的进步都起到了最近AI成就了的核心作用，让计算机进行练习，通过消化和分析大量的数据，而不用明确地编程，就可以达到目的。在过去的两年里，谷歌以深度学习为基础的AlphaGo击败了世界顶级的围棋选手，令大多数人工智能专家感到惊讶，他们认为需要5到10年才能实现这样一个里程碑。同样，当谷歌在2016年底转向其新的深度学习AI系统时，它大大地提高了机器翻译的质量。

在最近的一篇文章“ 深度学习：批判性评价”，作者和纽约大学教授加里·马库斯对深度学习进行了认真的评估。他认为，尽管在过去五年取得了相当大的成就，但深度学习可能正面临瓶颈期，多伦多大学教授杰弗里·辛顿（Geoffrey Hinton），即深度学习之父父，也有这种观点。

深度学习是一种强大的统计技术，用于使用大型训练数据集和多层AI神经网络对模式进行分类。它本质上是一种机器学习数据的方法，这些数据通过生物大脑学习解决问题的方式进行了松散的建模。每个人工神经单元连接到许多其他这样的单元，并且可以基于用于训练系统的数据来统计地增强或减少链路。多层网络中的每个连续层使用前一层的输出作为输入。

“原则上，给定无限数据，深度学习系统足以表示任何给定输入集和一组相应输出之间的任何有限确定性”映射“，但在实践中是否可以学习这样的映射取决于许多因素...... “马库斯写道。“该技术擅长解决封闭式分类问题，其中必须将大量潜在信号映射到有限数量的类别，因为有足够的数据可用且测试集非常类似于训练集。但偏离这些假设可能会导致问题; 深度学习只是一种统计技术，所有的统计技术都会偏离它们的假设......在实践中，大数据集的结果往往非常好，广泛的潜在映射。

与早期阶段的所有主要技术一样，深度学习必须克服许多严峻挑战。

马库斯的文章讨论了当前深度学习系统面临的十大挑战。我将重点讨论这四个问题。

深度学习中的数据匮乏

深度学习的数据要求与许多维度中的其他分析方法的数据要求大不相同。随着数据集大小的增加，传统分析的性能趋于稳定。然而，随着数据集变大，正确训练的深度学习技术的性能将显着提高。深度学习方法在从复杂的非结构化数据（包括音频，语音，图像和视频）中提取模式方面特别有价值。要做到这一点，他们需要成千上万的数据记录才能使模型在分类任务中变得更好，并且需要数百万的数据才能在人类层面上发挥作用。

“人类可以在几次试验中学习抽象关系，......”马库斯指出。“深度学习目前缺乏通过明确的口头定义来学习抽象的机制，并且当有数千，数百万甚至数十亿的训练样例时效果最好。”当通过明确的定义学习时，“你不依赖数百或数千或数百万训练样例，但能够表示代数变量之间的抽象关系。人类可以通过明确的定义和更隐含的手段来学习这种抽象。事实上，即使是七个月大的婴儿也可以这样做，只需两分钟即可从少量无标签的例子中获得学习抽象语言的规则。“

在最近的人工智能会议上，麻省理工学院大脑和认知科学教授Josh Tenenbaum解释了他对我们目前的人工智能状态与人类智力水平长期追求之间差异的看法。人类智能能够超越数据和机器学习算法。人类能够在他们感知世界时建立模型，包括实际的日常常识知识，然后使用这些模型来解释他们的行为和决定。根据Tenenbaum的说法，三个月大的婴儿对周围世界的了解比任何人工智能应用要多。在从分析的数据中学习模式之前，AI应用程序从空白的平板开始，而婴儿开始时具有遗传头部开始和大脑结构，这使得他们可以学习比数据和模式更多的东西。

像麻省理工学院人类动力学实验室和艾伦研究所这样的研究工作，以及像Kyndi这样的创业公司正试图通过模仿人类常识推理和/或用基于逻辑的编程工具补充统计导向的AI方法来克服深度学习的局限性。这些研究工作仍处于早期阶段。

深度学习实际上是很浅薄的

深度学习的“深度”是指其高度复杂的，多层次的统计特性。但是，虽然能够取得一些惊人的成果，但在目前的化身中，深度学习实际上是非常浅薄和脆弱的。“通过深度学习提取的模式比最初出现时更肤浅。”

我们目前的AI应用程序通过大量数据和深度学习算法的训练完成了一件事。每个应用程序必须使用自己的数据集进行单独培训，即使对于与以前类似的用例也是如此。到目前为止，没有好的办法将培训从一种情况转移到另一种情况。