Machine Learning课程笔记（二）

用梯度下降求解

观察可知与线性回归的更新方程是一样的，但是不同的是h(x).

求最优解的方法：

后三种方法运用某种方式每次迭代都选择最优的arpha

Muticlass regression

One-vs-all:对每一个类别训练一个分类器。

Over-fitting

Under-fitting（与high bias类似，每个输入的拟合结果都与实际情况有偏差）

Over-fitting（与high variance类似，相当于拼命拟合每个数据，所以在真实数据上当然会方差比较大）

当我们的变量很多但数据很少的时候，容易发生过拟合。

解决办法：

（1）人工减少特征

（2）正则化

Regularization

如果λ特别大的话，会使得模型欠拟合。（所有参数为0，除了θ0）

Gradientdescent(Linear regression)

NormalEquation

(矩阵是n+1 * n+1)

NeuralNetwork

看起来神经网络与logistic回归很类似，不同点只是在于logistic 回归使用特征值作为输入，神经网络使用隐藏的值作为输入.

Week5

NeuralNetwork

一般不将偏置项纳入正则化