给定数据集
,其中
,
。线性回归试图学得
,使
与
之间的差别尽可能小。如何确定
和
,关键在于如何衡量
与
之间的差别,可以通过均方误差最小化。
基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。
在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小。
这里
是关于w和b的凸函数,当它关于w和b的导数均为零时,得到w和b的最优解。
求w和b的偏导:
令偏导为0:
矩阵X的每一行的前n个元素代表一条数据标签,共有m个数据。最后一行元素恒置为1,为了求导的方便,把
当作线性模型中的偏置(bias)。即f(x)=XW。
注:由于
是个实数c,loss=c1c1+c2c2+...+cm*cm。可写成
。
上式可改写成矩阵相乘的方式,
我们要求loss最小时,w的取值,所以对w求偏导,使其为0。
注:补充矩阵求导的知识,记熟两个。
这种情况是对带T的求导,左右两边互换位置,不加T。
这种情况是对不带T的求导,其他元素加T,不换位置。
求偏导过程如下所示:
故得
求得的W即为最优权值。
为了突出要预测的值的周边重要性,减弱距离远的值对W的影响,使其能局部最优。
方法:给每一个
加上一个权重,权重的大小根据离预测值的远近而变化。离得近的权重大,离得远的权重小。对角矩阵是新权重的最佳选择。
同样,上式可以转换成矩阵相乘的格式:
对W求偏导,过程如下所示:
令偏导为0,即
由于M是对角矩阵,
即:
求得的W即为最优权值。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。