AI从零开始之线性回归系数评估

从本节开始，我们来关注有监督学习中的最简单的方法，线性回归。虽然它很简单，但从实际情况来看，对于定量的情况分析中，它是非常有用的。虽然现在有很多更好更新的方法可以用来进行预测，但是线性回归仍然可以说是他们的基础。因此，线性回归的重要性也就不言而喻了。

顾名思义，线性回归就是说变量X和预测值Y之间是简单的近似线性的关系，我们可以用下面的公式表示：

这里的a和b是两个我们不知道的常量，我们称之为截距(intercept)和斜率(slope)。a和b就是我们所说的模型系数或者称之为参数。当我们用我们的training data来预测了和之后，我们就可以用他们来进行预测x对应的值：

现在假设我们现在有n个观察数据，我们记为(,), (,),…,(,)，那么我们的目标就很简单了，我们需要得到一组和，使得，其中i=1,….,n，也就是说我们要找到和使得所有的这些观察数据和最终的结果的那条线足够接近。那么怎么评估这个远近呢，一个比较流行的方法就是最小二乘准则(least squares criterion)。

那什么是最小二乘准则呢，我们现在假设对第i个观察点的预测值,那么就表示第i个观察点的残差，他其实就是第i个观察点的真实的值和预测值之间的差别。我们可以用下面公式来定义残差平方和(residual sum of squares RSS)：

我们把上面的公式带入就可以写成这样：

那么当RSS最小的时候，和的值是多少呢，我们见下图的推导：

图一 RSS最小的推导

所以我们可以得到当RSS最小时：

至此，我们就把线性回归下满足RSS最小的时候的和的值。

转载请注明出处： http://www.softlifelogging.com/2018/06/05/ai从零开始之线性回归系数评估/