机器学习：正规方程(Normal Equation)的推导

在coursera上看了Andrew Ng的《Machine Learning》课程，里面讲到了正规方程(Normal Equation)，现在在此记录一下推导过程。 假设函数(Hypothesis Function)为：

此处我们可以令

.

代价函数(Cost Function):

我们想要代价函数的最小解，对代价函数进行求导。因为对于向量我们有

,所以：

因为

部分对最终的解没影响，为了便于书写和计算，我们可以先将这部分舍去。对方程的转置进行化简：

因为

都是矢量，所以这两者相乘先后顺序没有关系，所以可以化简成：

接着方程

进行求导:

1

两边同时乘以

的逆矩阵，得：

此即为正规方程。当

时，代价方程有最优解。

1. 关于矩阵、向量、标量的一些求导https://blog.csdn.net/xidianliutingting/article/details/51673207 ↩