正文共:1171 字 54 图 预计阅读时间: 3 分钟
由上一讲内容我们已经知道,投影矩阵
考虑两种极端的情况,也就是
本来就在列空间之中,那么投影之后依然是它自己,即
; 另外一种情况就是
正交于列空间,也就是说 Pb=0 。考虑
就是考虑
在列空间的分量即投影
和其在左零空间的分量即误差
。
从几何的角度来看,
, 那么
,也就是说
就是将
投影到左零空间的投影矩阵。
由上一讲我们知道了,投影正是为了让我们可以在
无解的时候可以有解可求,从投影的角度来看的话,实际上我们就是要找出
,那么从
的角度呢?我们知道
构成了投影的列空间,并且是正交于
的,也就是说,此时
的长度是最小的,即此时的投影是最接近于
的,那么我们就得到了最优解,做一下转化,也就是说
是最小的!这就是最小二乘。
以拟合直线的例子来做一下讲解。
求 (1,1),(2,2),(3,2) 三个点的拟合直线
。
对于求解最佳的拟合直线,我们自然是希望直线离三个点的距离之和是最小的,这个距离实际上就是
的长度,也就是
为了得到最小的距离(误差)和,对其平方是一个防止为负的选择,由此求拟合直线也就转化为求解下式的最小值问题
对
求偏导就可以得到
那么从矩阵的角度来看这个问题呢? 该拟合直线的问题就是求解
可以发现
中两列不相关,
不在列空间之中,因此该等式不成立。 由上一讲的内容,我们可以得到
由此可以发现,我们得到了和从几何角度出发同样的方程组,也即同样的解。
最后我们证明下我们在上一讲的最后得到的结论
也就是说
有解当且仅当
可逆,也即
满秩,也就是说
的各列向量线性无关。此时
的零空间只有零向量。换句话来说就是,当我们需要求解投影之后的解之前,需要先去求解原始系数矩阵
的列空间的基,以该基构建新的系数矩阵
的表示,由该新的系数矩阵
,我们可以求得投影矩阵,投影和最优解。
即:
的各列线性无关,那么
可逆
证明过程如下:
为了证明
可逆,即需要证明
的零空间中只有零向量。
对于
等式两边同时左乘
, 可以得到
也就是说
的长度为 0,同时
各列线性无关,那么
的零空间只有零向量,也就是说
的解只有零向量,那么
的解也就只有零向量了,所以命题成立。
2011年最小二乘逼近
求解 (1,1),(2,5),(-1,-2) 这三个点的最佳拟合二次曲线,并且该曲线过原点。
解答
由题意可以写出
即二次曲线为