深度学习的数学（三）：神经元工作的数学表示

编者按：本文节选自图灵程序设计丛书 《深度学习的数学》一书中的部分章节。

前文中用数学式表示了神经元的工作。本节我们试着将其在数学上一般化。

简化神经元的图形

为了更接近神经元的形象，1 - 2 节中将神经元表示为了下图的样子。

然而，为了画出网络，需要画很多的神经元，在这种情况下上面那样的图就不合适了。因此，我们使用如下所示的简化图，这样很容易就能画出大量的神经元。

为了与生物学的神经元区分开来，我们把经过这样简化、抽象化的神经元称为 神经单元（unit）。

注：很多文献直接称为“神经元”。本书为了与生物学术语“神经元”区分，使用“神经单元”这个称呼。另外，也有文献将“神经单元”称为“人工神经元”，但是由于现在也存在生物上的人工神经元，所以本书中也不使用“人工神经元”这个称呼。

激活函数

将神经元的示意图抽象化之后，对于输出信号，我们也对其生物上的限制进行一般化。

根据点火与否，生物学上的神经元的输出 $y$ 分别取值 1 和 0（下图）。

然而，如果除去“生物”这个条件，这个“0 和 1 的限制”也应该是可以解除的。这时表示点火与否的下式（1 - 2 节式 (3)）就需要修正。

点火的式子：$y=u(w_1x_1+w_2x_2+w_3x_3-\theta)\quad\quad\quad\quad\quad\quad\quad\quad(1)$

这里，$u$ 是单位阶跃函数。我们将该式一般化，如下所示。

$y=a(w_1x_1+w_2x_2+w_3x_3-\theta)\quad\quad\quad\quad\quad\quad\quad\quad(2)$

这里的函数 $a$ 是建模者定义的函数，称为 激活函数（activation function）。$x_1$、$x_2$、$x_3$ 是模型允许的任意数值，$y$ 是函数 $a$ 能取到的任意数值。这个式 (2) 就是今后所讲的神经网络的出发点。

注：虽然式 (2) 只考虑了 3 个输入，但这是很容易推广的。另外，式 (1) 使用的单位阶跃函数 $u(z)$ 在数学上也是激活函数的一种。

请注意，式 (2) 的输出 $y$ 的取值并不限于 0 和 1，对此并没有简单的解释。一定要用生物学来比喻的话，可以考虑神经单元的“兴奋度”“反应度”“活性度”。

我们来总结一下神经元和神经单元的不同点，如下表所示。

将神经元点火的式 (1) 一般化为神经单元的激活函数式 (2)，要确认这样做是否有效，就要看实际做出的模型能否很好地解释现实的数据。实际上，式 (2) 表示的模型在很多模式识别问题中取得了很好的效果。

Sigmoid 函数

激活函数的代表性例子是 Sigmoid 函数 $\sigma(z)$，其定义如下所示。

$\sigma(z)=\frac{1}{1+{\rm e}^{-z}}~~({\rm e}=2.718281\dots)\quad\quad\quad\quad\quad\quad\quad\quad(3)$

关于这个函数，我们会在后面详细讨论（2-1 节）。这里先来看看它的图形，Sigmoid 函数 $\sigma(z)$ 的输出值是大于 0 小于 1 的任意值。此外，该函数连续、光滑，也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。

单位阶跃函数的输出值为 1 或 0，表示点火与否。然而，Sigmoid 函数的输出值大于 0 小于 1，这就有点难以解释了。如果用生物学术语来解释的话，如上文中的表格所示，可以认为输出值表示神经单元的兴奋度等。输出值接近 1 表示兴奋度高，接近 0 则表示兴奋度低。

本书中将 Sigmoid 函数作为标准激活函数使用，因为它具有容易计算的漂亮性质。如果用数学上单调递增的可导函数来代替，其原理也是一样的。

偏置

再来看一下激活函数的式 (2)。

$y=a(w_1x_1+w_2x_2+w_3x_3-\theta)\quad\quad\quad\quad\quad\quad\quad\quad(2)$

这里的 $\theta$ 称为阈值，在生物学上是表现神经元特性的值。从直观上讲，$\theta$ 表示神经元的感受能力，如果 $\theta$ 值较大，则神经元不容易兴奋（感觉迟钝），而如果值较小，则神经元容易兴奋（敏感）。

然而，式 (2) 中只有 $\theta$ 带有负号，这看起来不漂亮。数学不喜欢不漂亮的东西。另外，负号具有容易导致计算错误的缺点，因此，我们将 $-\theta$ 替换为 $b$。

$y=a(w_1x_1+w_2x_2+w_3x_3+b)\quad\quad\quad\quad\quad\quad\quad\quad(4)$

经过这样处理，式子变漂亮了，也不容易发生计算错误。这个 $b$ 称为 偏置（bias）。

本书将式 (4) 作为标准使用。另外，此时的加权输入 $z$（1-2 节）如下所示。

$z=w_1x_1+w_2x_2+w_3x_3+b\quad\quad\quad\quad\quad\quad\quad\quad(5)$

式 (4) 和式 (5) 是今后所讲的神经网络的出发点，非常重要。

另外，生物上的权重 $w_1$、$w_2$、$w_3$ 和阈值 $\theta$（$=-b$）都不是负数，因为负数在自然现象中实际上是不会出现的。然而，在将神经元一般化的神经单元中，是允许出现负数的。

问题 右图是一个神经单元。如图所示，输入 $x_1$ 的对应权重是 2，输入 $x_2$的对应权重是 3，偏置是 -1。根据下表给出的输入，求出加权输入 $z$ 和输出 $y$。注意这里的激活函数是 Sigmoid 函数。

输入 \boldsymbol{x_1} 输入 \boldsymbol{x_2} 加权输入 \boldsymbol{z} 输出 \boldsymbol{y} 0.2 0.1 0.6 0.5 解 结果如下表所示（式 (3) 中的 e 取 e = 2.7 进行计算） 输入 \boldsymbol{x_1} 输入 \boldsymbol{x_2} 加权输入 \boldsymbol{z} 输出 \boldsymbol{y} 0.2 0.1 2×0.2 + 3×0.1 - 1 = -0.3 0.43 0.6 0.5 2×0.6 + 3×0.5 - 1 = 1.7 0.84

备注 改写式 (5) 我们将式 (5) 像下面这样整理一下。 $z=w_1x_x+w_2x_2+w_3x_3+b\times1\quad\quad\quad\quad\quad\quad\quad\quad(6)$ 这里增加了一个虚拟的输入，可以理解为以常数 1 作为输入值（右图）。

于是，加权输入 $z$ 可以看作下面两个向量的内积。 $(w_1,w_2,w_3,b)(x_1,x_2,x_3,1)$ 计算机擅长内积的计算，因此按照这种解释，计算就变容易了。

图书简介：http://www.ituring.com.cn/book/2593