机器学习里，数学究竟多重要？揭秘深度网络背后的数学奥秘

机器学习里，数学究竟多重要？

过去几个月里，有不少人联系我，向我表达他们对数据科学、对利用机器学习技术探索统计规律性，开发数据驱动的产品的热情。但是，我发现他们中有些人实际上缺少为了获取有用结果的必要的数学直觉和框架。这是我写这篇文章的主要原因。

最近，许多好用的机器和深度学习软件变得十分易得，例如 scikit-learn，Weka，Tensorflow，等等。机器学习理论是与统计学、概率论、计算机科学、算法等方面交叉的领域，它产生于从数据出发的学习迭代，试图找出用于开发智能应用的隐藏的洞见。尽管机器学习和深度学习有无限的可能性，对这些技术有一个全面的数学理解对理解算法的内部工作机制、获取好的结果是有必要的。

为什么要关心数学？

为什么机器学习中的数学很重要？这个问题的理由我想强调以下几点：

选择合适的算法，要考虑的包括算法准确性、训练时间、模型复杂度、参数的数量和特征数量。

选择参数设置和验证策略。

理解偏差与方差的权衡以确定欠拟合和过拟合。

预估正确的置信区间和不确定性。

你需要多高的数学水平？

试图了解一个例如机器学习这样的跨学科领域，主要的问题是必要的数学知识的量，以及理解这些技术需要的数学水平。这个问题的答案是多方面的，取决于个人水平和兴趣。对数学公式和机器学习的理论发展的研究一直在进行着，一些研究人员研究的是更先进的技术。以下我将说明我认为成为一名机器学习科学家/工程师需要的最低程度的数学，以及每个数学概念的重要性。

1. 线性代数

Skyler Speakman曾说：“线性代数式21世纪的数学”，我完全赞同该论述。在ML领域，线性代数无处不在。主成分分析（PCA）、奇异值分解（SVD）、特征分解、LU分解、QR分解、对称矩阵、正交化&标准正交化、矩阵运算、投射、特征值&特征向量、向量空间和规范等这些概念对理解机器学习的优化方法都是必须的。我认为线性代数很棒的一点是，互联网上的资源非常多。我总是说传统课堂要消亡，因为互联网上有如此大量的资源。我最喜欢的线性代数课程是MIT的Gilbert Strang教授的。

2. 概率论与数理统计

机器学习和数理统计并不是完全不同的领域。事实上，最近有人把机器学习定义为“在Mac上做数理统计”。ML需要的数理统计基础和概率论知识包括组合数学、概率规则&公理、贝叶斯定理、随机变量、方差和均值、条件和联合分别、标准分布（伯努利、二项、多项、统一和高斯）、矩母函数、最大似然估计（MLE）、先验和后验、最大后验估计（MAP）和采样方法。

3. 多元微积分

必要的概念包括微积分、偏导数、向量函数、方向梯度、Hessian、Jacobian、Laplacian和Lagragian分布。

4. 算法和复杂性优化

这对理解机器学习算法的计算效率和可扩展性以及数据集的开发稀疏性很重要。需要数据结构（二叉树、Hashing、Heap、Stack等等）的知识，以及动态编程、随机&次线性算法、图形、梯度/随机趋势、以及原对偶方法的知识。

5. 其他

这包括上述4个主要领域没有涉及的其他数学概念。包括实分析与复分析（集合和序列、拓扑结构、度量空间、单值和连续函数、极限）、信息理论（熵、信息增益）、函数空间和流形。

下面是部分机器学习所需数学概念的一些MOOC和学习资料：

Khan Academy’s Linear Algebra, Probability & Statistics, Multivariable CalculusandOptimization.

Coding the Matrix: Linear Algebra through Computer Science Applications by Philip Klein, Brown University.

Linear Algebra – Foundations to Frontiers by Robert van de Geijn, University of Texas.

Applications of Linear Algebra, Part 1 and Part 2. A newer course by Tim Chartier, Davidson College.

Joseph Blitzstein – Harvard Stat 110 lectures

Larry Wasserman’s book – All of statistics: A Concise Course in Statistical Inference .

Boyd and Vandenberghe’s course on Convex optimisation from Stanford.

Linear Algebra – Foundations to Frontiers on edX.

Udacity’s Introduction to Statistics.

最后，本文的主要目的是提供有关机器学习所需的重要数学概念的建议和有用的资源。但是，有些机器学习爱好者可能是数学初学者，会觉得这篇文章令人沮丧（这并不是我的目的）。对初学者来说，你并不需要先学好大量数学知识再开始做机器学习。正如这篇文章提到的，最基本的需要是数据分析，然后你可以在掌握更多技术和算法的过程中继续学习数学。

揭秘深度网络背后的数学奥秘

目前，我们可以使用像Keras、TensorFlow或PyTorch这些高级的、专业的库和框架而不需要一直担心权重矩阵的大小，也不需要记住决定使用的激活函数的导数公式。通常我们只需要构建一个神经网络，即使是一个结构非常复杂的神经网络，也只需要导入一些库和几行代码。这节省了我们找出bug的时间，并简化了工作。然而，如果了解神经网络内部发生的事情，对架构选择、超参数调优或优化等任务有很大帮助。本文源代码可以在我的GitHub上找到。

介绍

为了更多地了解神经网络的原理，我决定写一篇文章，一部分是为了我自己，一部分为了帮助其他人理解这些有时难以理解的概念。对于那些对代数和微积分不太熟悉的人，我会尽量详细一些，但正如标题所示，这是一篇涉及很多数学的文章。

例如，我们将解决如图1所示的数据集二分类问题，两种类别的点形成圆圈，这种排列对于许多传统的ML算法来说是不方便的，但是一个简单的神经网络却可以很好地解决这个问题。为了解决这个问题，我们将使用一个神经网络，结构如图2所示。五个有不同数量单元的全连接层，对于隐藏层，我们将使用ReLU作为激活函数，对输出层使用Sigmoid。这是一个相当简单的架构，但复杂到足以成为我们深入探讨的例子。

KERAS解决方案

首先，我将介绍一个最流行的机器学习库之一KERAS

正如我在介绍中提到的，只要导入一些库和几行代码就足以构建和训练一个模型，该模型对训练集进行分类的准确率基本上可以达到100%。我们的任务归根结底是根据所选择的架构提供超参数(层数、层内神经元数、激活函数或epoch数)。现在让我们看看背后的原理。我在学习的过程中弄了一个非常酷的视觉效果，希望能让你提起兴趣。

什么是神经网络?

让我们从回答这个关键问题开始:什么是神经网络?这是一种生物启发的方法，可以构建能够学习和独立查找数据连接的计算机程序。网络是一组按层排列的软件“神经元”，以一种允许交流的方式连接在一起。

每个神经元接收一组变量x (从1到n编号)作为输入并计算预测的y值。向量x实际上包含了训练集中m个例子中的一个特征值。更重要的是，每个单元都有自己的一组参数，通常被称为w(权重列向量)和b(偏差)，它们在学习过程中会发生变化。在每次迭代中，神经元根据向量x的当前权值w计算向量x的加权平均值并加上偏差。最后，通过一个非线性激活函数g来传递计算结果。

单层

先把范围缩小来考虑如何计算整个神经网络层，通过在单个单元内发生的原理来向量化整个网络层，将这些计算组合成矩阵方程。为了统一符号，为选定的层编写方程[l]。顺便说一下，下标i标记了这层神经元的顺序。

更重要的一点是:当我们写单个单元的等式时，我们使用x和y-hat来分别表示特征的列向量和预测值。在切换到层的通用符号时，使用向量a——表示对应层的激活。因此，x向量表示第0层的激活，也就是输入层。层中的每个神经元按照如下公式进行计算:

为了清楚起见，写出第2层对应的方程：

就像看见的那样，对于每个层的操作原理都差不多。在这里使用for循环并不十分有效，因此为了加快计算速度，我们将使用向量化来进行加速。首先,把转置后的权重w的水平向量叠加起来来构建一个矩阵w。同样,我们可以把每个神经元的偏移值叠加起来构建一个垂直向量b。现在没有什么可以阻止我们建立一个矩阵方程来计算所有神经元层，以下是会用到的矩阵和向量的维度。

对多样本向量化

到目前为止我们列出的方程只涉及到一个样本。在学习神经网络的过程中，你通常要处理大量的数据，多达数百万个样本。因此，下一步将对多个样本进行向量化。假设我们的数据集有m个样本，每个样本都有nx特征。首先，我们将把每一层的垂直向量x、a，和z放在一起来分别创建x, a和z矩阵。然后，重写之前的简化方程来应用新的矩阵。

什么是激活函数?我们为什么需要它?

激活函数是神经网络的关键要素之一。没有它们，我们的神经网络就会变成线性函数的组合，那么它本身还是一个线性函数。我们模型的可扩展性有限，不会比逻辑回归要好。非线性元素在学习过程中有很好的弹性和并且可以构建比较复杂的函数。激活函数对学习速度也有显著影响，所以激活函数也是选择的一个重要标准。图6列出了一些常用的激活函数。目前，最流行可能是ReLU。但我们有时仍然使用sigmoid，当我们处理二分类问题时，希望模型返回的值在0到1之间，会在输出层使用sigmoid。

损失函数

关于学习过程的基本信息来源是损失函数。一般来说，损失函数是用来衡量我们离“理想”的解决方案有多远。在我们的例子中使用了二元交叉熵，但是根据问题的不同可以应用不同的函数。我们使用的函数如下式所示，学习过程中其值的变化如图7所示。它显示了每一次迭代的损失函数值降低和准确率的提高。

神经网络如何学习?

神经网络学习过程即改变W和b参数的值，使损失函数最小化。为了实现这一目标，我们将借助于微积分，使用梯度下降法来求出函数的最小值。在每次迭代中，我们将计算损失函数对于神经网络每个参数的偏导数的值。对于那些不太熟悉这种计算方法的人，我只想提一下导数有一种神奇的能力来描述函数的斜率。由于这一点，我们知道如何调整参数来使图形上下移动。为了能够直观地了解梯度下降法的工作原理，我准备了一个小的可视化。你可以看到，随着epoch一直走，我们是如何实现最小化的。在神经网络中，它工作的原理也差不多，在每次迭代中用计算的梯度来显示我们应该移动的方向，主要的区别是在实际的神经网络中，我们有更多的参数要操作，重点是：如何计算这些复杂的导数?

反向传播

反向传播是一个允许我们计算非常复杂的梯度的算法，根据以下公式调整神经网络的参数。

在上面的等式中,α表示学习率——是调整变量的一个超参数。选择一个学习率是至关重要的——如果我们设置的太低，神经网络学习的非常缓慢，我们设置的太高，我们将无法找到最小值。利用链式法则计算dW和db，即损失函数对W和b的偏导数，dW和db的大小，跟W和b是一样的。图9显示了神经网络中的操作序列。我们清楚地看到前向传播和反向传播如何协同工作来优化损失函数的。

结论

希望我已经解释了在神经网络中发生的数学，但至少了解了这部分内容对以后的神经网络的工作是很有帮助的。我认为文章提到的内容是最重要的，但它们只是冰山一角。我强烈建议你自己尝试搭建这样一个小型的神经网络，不使用高级框架，只使用Numpy。

如果你看到这里，恭喜你！这篇文章并不是那么容易阅读。

转自： 云栖社区