机器学习课程_笔记03

局部加权回归

线性回归算法里的成本函数：

正规方程解出的参数解析表达式：

由于使用了过小的特征集合使得模型过于简单，在这种情形下数据中的某些非常明显的模式没有被成功地拟合出来，我们将其称之为:欠拟合(underfitting)。

由于使用了过大的特征集合使得模型过于复杂，算法拟合出的结果仅仅反映了所给的特定数据的特质，我们可以称之为过拟合。

在特征选择中存在上述两类问题。

这里讲到一类非参数学习算法，可以缓解对于选取特征的需求，就是局部加权回归算法。

这个算法可以让我们不必太担心对于特征的选择。

算法示意

称为波长函数， \(\tau\)较小，则权值随距离下降得快， \(\tau\)较大，则权值随距离下降得慢。

线性回归的概率解释

代表误差项，它表示了一种我们没有捕获到的特征，或者你也可以把它看成一种随机的噪声。

然后可以得到

是独立同分布的。

然后定义

这个就是参数\Theta的似然性。

算法的目标也就变为：

再定义

然后最大化 \ell(\Theta) 就变成了最小化 2=J()

于是推导出了线性回归算法里的成本函数。

logistic回归

推导过程

上述g(Z)公式就叫做sigmoid函数，也叫logistic函数。

同样使用概率解释下logistic回归函数。

采用梯度上升算法来最大化

最后得到logistic回归的更新\Theta​的过程为

## 感知器算法

这个跟logistic算法很相似，更新\(\Theta\)的过程为