每天十分钟机器学习之二十二：神经网络为什么比逻辑回归厉害

通过上几讲我们对神经网络应该有了初步的了解，不知道大家发现没有，在神经网路的计算过程中，总是隐约的感到逻辑回归的存在，其实神经网络还真可以看做是多个逻辑回归模型组成，可以说神经网络出于逻辑回归，但胜于逻辑回归。

从本质上讲，神经网络能够通过学习得出其自身的一系列特征。在普通的逻辑回归中，我们被限制为使用数据中的原始特征x1,x2,...,xn，我们虽然可以使用一些二项式项来组合这些特征，但是我们仍然受到这些原始特征的限制。

在神经网络中，原始特征只是输入层，在我们上面三层的神经网络例子中，第三层也就是输出层做出的预测利用的是第二层的特征，而非输入层中的原始特征，我们可以认为第二层中的特征是神经网络通过学习后自己得出的一系列用于预测输出变量的新特征。

为了更好了解神经网络的工作原理，我们先把左半部分遮住：

右半部分其实就是以a,a1,a2,a3按照逻辑回归的方式输出h(x)：

其实神经网络就像是逻辑回归，只不过我们把逻辑回归中的输入向量[x1~x3]变成了中间层的[a(2)1~a(2)3]，即

h(x)=g(θ(2)a(2)+θ(2)1a(2)1+θ(2)2a(2)2+θ(2)3a(2)3)

我们可以把a,a1,a2,a3看成更为高级的特征值，也就是x,x1,x2,x3的进化体，并且它们是由x与θ决定的，因为是梯度下降的，所以a是变化的，并且变得越来越厉害，所以这些更高级的特征值远比仅仅将x次方厉害，也能更好的预测新数据。

这就是神经网络相比于逻辑回归和线性回归的优势。

祝您的机器学习之旅愉快！

本文参考资料：斯坦福吴恩达老师的机器学习讲义，图片直接来自讲义；