线性回归 - 最小二乘法

故名思意，线性回归是一种线性模型，线性模型形式简单、易于建模。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或者高维映射而得。本文记录最基本的线性回归方法。

问题描述

考虑一个线性模型 {y}=f({\bf{x}}) 其中y是模型的输出值，是标量，\bf{x}为d维实数空间的向量

• 线性模型可以表示为:

• 线性回归的任务是利用n个训练样本：

• 和样本对应的标签：

• 来预测线性模型中的参数 \bf{\omega}，使得模型尽可能准确输出预测值

线性回归 / 最小二乘法

• 定义损失函数：

• 推导损失函数：

• 优化方程：

• 求导并令倒数为0：

• 得到:

参考资料

• https://zhuanlan.zhihu.com/p/86009986