线性回归 linear regression 原理及推导

概述

• 优点：容易计算，易于理解和实现
• 缺点：容易欠拟合
• 适用数据类型：数值型和标称型

口头描述

线性回归试图构造一个线性函数，去拟合尽可能多的样本点。重点是如何确定线性函数的参数，使得该函数尽量穿过样本点，一般使用均方误差最小化来作为参数拟合效果的标准。

算法推导（解方程的方法）

算法推导（梯度下降）

X^TX的要求

当矩阵 X^TX是满秩矩阵的时候，上述最优解成立，但是很多情况下X^TX往往不是满秩矩阵，此时可以解出ω^ ,他们都能使均方误差最小化，选择哪一个作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化项。

对数线性回归