每天十分钟机器学习之十八：前十七讲的总结篇

截止到现在，我总共整理了十七篇讲义，接下来相当长的一段时间会进入神经网络的学习，在开始神经网络之前，我把这十七讲做一个总结，汇总一下知识点，方便大家复习。

1.监督学习和无监督学习（第一讲—第三讲）

（1）监督学习：数据集中的每个样本都有相应的“正确答案”或者是标签，利用有答案或者标签的数据建立一个模型，根据这个模型再去预测其他数据的“正确答案”，吴恩达老师的房价预测例子就是这个套路。

代表算法：分类和回归

（2）无监督学习：无监督学习中没有任何的标签或者正确答案，针对数据集，无监督学习能判断出数据有几个不同的聚集簇，这是一个，那是另一个，二者不同。

代表算法：聚类算法。

2.线性回归（第四讲、第十三讲）

线性回归应该是机器学习里最基础的一个模型了，后续很多模型包括逻辑回归、神经网络都能看到线性回归的影子，这两讲通过房价预测的例子分别讲述了单变量和多变量线性回归，记住下面的两个公式，这是线性回归的常用的表达方式。

3.代价函数（第五讲—第七讲）

（1）代价函数也叫损失函数，为什么要给出代价函数，是要找到一个方法来衡量模型构建的好坏，采用模型所预测的值与训练集中实际值之间的差距作为衡量标准，所以代价函数就诞生了，即建模误差的平方和：

（2）分别在二维和多维情况下介绍了代价函数的直观理解，其实二维情况下代价函数就是一个曲线，多维就是一个曲面，我们的目标都是为了找到曲线和曲面的最小点。

二维情况下的代价函数曲线：

三维情况下的代价函数曲面显示：

4.梯度下降算法（第八讲—第十二讲）

（1）梯度下降算法的理解，借助下山的例子来理解：假设你站山顶的某一点上，那么在梯度下降算法中，我们要做的就是环顾四周，从当前点确定一个下山方向，用小碎步尽快下山，然后你按照自己的判断迈出一步，重复上面的步骤，从这个新的点，你环顾四周，并决定从什么方向将会最快下山，然后又迈进了一小步，并依此类推，直到你接近局部最低点的位置。

（2）梯度下降背后的思想是：开始时我们随机选择一个参数的组合（θ,θ1,...,θn），计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到达到一个局部最小值。

（3）注意参数同步更新：所谓参数同步更新就是这一次的参数要统一更新完了再进入下一轮次。

（4）注意学习率的选取

（5）注意特征归一化或者叫特征缩放：就是在我们面对多维特征问题的时候，要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛

5.逻辑回归（第十四—第十七讲）

（1）逻辑回归是解决分类问题的，对于给定的x，通过已经确定的参数计算sigmoid函数值得出hθ(x)，hθ(x)可以理解成一个概率值，一般大于0.5认为是正向类，小于0.5是负向类；

（2）通过对判定边界的理解，只要能构造出不同的边界函数就可以应用逻辑回归进行分类，关键是边界函数的构造，不同的边界函数分类标准也不一样，体会一下这两个例子：

（3）逻辑回归可以解决多分类问题，实质就是拆分成多个二分类问题，模型如下：

（4）交叉熵形式构造代价函数，运用梯度下降求解参数。

以上是对之前十七讲的一个汇总，希望对你的学习有所帮助。

祝您的机器学习之旅愉快！

本文参考资料：斯坦福吴恩达老师的机器学习讲义，图片直接来自讲义；