问神经网络深度

EN

我认为简短的数学直觉是为了表明更深层次提供了更多的灵活性。

想象一下，我们想要适应一个极其复杂的函数，如下所示：

..。但在n维空间中，我们显然无法想象这样的功能。但我们可以同意这是很复杂的

基本数学类比

神经网络的目标是通过逼近复杂的函数将原始输入数据(例如图像到卷积网络)映射到某些输出。

因此，如果我们有一些输入，并将一个非线性函数f应用到它，我们将它转换成其他的东西：

也许这给了我们一个曲线函数，但它并没有接近于复杂的函数，所以我们给模型另一个机会，通过应用第二个非线性函数：

给出第二个函数几乎就像为模型提供了另一个自由度(或灵活性)。

我们继续这样做，直到非线性函数链能够很好地映射出输出空间。也许我们最终会有这样的结果：

在这个框架中，想象每一个非线性函数都是深层网络中的一个层。网络越深，我们应用的功能就越多，我们对输入的塑造和转换也就越多；可能在不同的范围，不同的大小等等。

这应该(以一种非常手动的方式)使您相信，应用更多的函数在最终的输出空间中提供了更多的可能性。因此，更多的层给我们更多的力量来表达越来越复杂的功能。

一个实用的注意事项:我们添加的层次越多，模型就越强大，而且越倾向于：

1. 很难训练
2. 最终完全适应培训数据。
3. 模型训练的时间越长
4. 对于不可见数据获取合理的验证度量可能需要的规范级别越高。

图像源

我建议使用Tensorflow游乐场来获得直观的理解。特别是，尝试为螺旋数据集寻找合适的数据集。

据我所知，神经网络的每一层都可以由前几层提供的所有形状组成。第一层(假设sigmoid或tanh激活)只能形成乙状结肠形状。第二层中的每个节点现在可以通过第一层中所有乙状结肠形状的线性组合来形成复杂的形状。第三层中的每个节点都可以从第二层的复杂形状中产生更复杂的形状。等等，诸如此类。