深度学习的强大之处探讨

相对于单纯机制的机器学习数学模型，深度学习像是一种综合的工程设计，它的基本架构是深层的神经网络，具有处理非常复杂的模式的能力。为了提高训练的效果和效率，需要设计具有不同层次的网络构造。例如，在计算机视觉领域广泛应用的卷积神经网络（CNN），便是在低层先采用几个卷积核层和联营层来抽取特征和压缩信息，它们是“先天”预设功能的神经网络层，具有较少可调的连接参数，能自动获取局部特征，且易于控制训练的效果。在深层网络中有的还采取分层采用无监督的预先学习和随后的监督学习的方法，来提高学习效率。如何构造深度网络和控制训练是深度学习的研究内容。今天深度学习的神经网络已有百亿个神经连接参数，具有极高的智商，它需要巨大的计算机资源和信息数据的支持，多在大公司用于研究突破性的应用和探索人工智能的未来。

20世纪80年代，计算机的功能还不多，不及现在的手机。当时手写体字识别的研究应用上述例子中的神经网络来学习，限于计算机的功能和收集数据的能力，只用几百个样本逐个迭代更新参数来学习，这样无论计算多少个小时，结果都不理想。现在用5000个样本，同一个神经网络模型用批量计算更新参数，经过50轮迭代，在个人电脑运行不到10分钟，模型就训练好了。注意，这里用的只是简单的拥有400×25×10个节点的三层网络，已经有了1万多个待定的参数，输入样本是400×5000的矩阵。这个辨识10个数字图像的小项目，在过去很难实现，现在做起来却很轻松。现在，机器学习进入了与人类智能相当的时代。

斯坦福大学ImageNet的机器学习，用了1500万张照片的数据库，涵盖22000种物品对2400万个节点、150亿个连接的神经网络进行训练，能够让计算机看懂照片，描述图里的场景。这个成果证明了在巨量的样本数据和强大的计算能力支持下，凭借着上述非常简单的数学模型的学习机制，便能够使机器通过训练，从白痴达到具备令人惊异的辨识认知能力。现在，深度学习的成就还只是验证概念的破冰式探索，如何构造深度神经网络如何更有效地利用数据和已有知识更聪明地进行学习，例如具有长期、短期记忆的神经网络，“利用上下文或背景知识判断”等等，正在竞相研究中。

机器学习强大的功能来自巨量的可调参数，它的学习算法并不难理解，基本上是向量和矩阵的线性运算，关键之处是获取巨量的样本数据，和支持巨量计算的硬件，特别是GPU等技术进步。这就是为什么机器学习的突破，一直到了大数据时代才出现。