线性代数投影矩阵的定义_线性代数a和线性代数b

大家好，又见面了，我是你们的朋友全栈君。

About 投影矩阵

  一个矩阵 A A A既可以表示一种线性变换，又可以是一个子空间（由基张开的），还可以是一组坐标，甚是神奇。

文章目录

• About 投影矩阵
  • 一维空间的投影矩阵
  • 投影矩阵的多维推广
  • 投影的物理意义
  • 信号处理中的正交投影技术

一维空间的投影矩阵

  查看上图， p p p是 b b b在 a a a上的投影，可以发现， p p p和 a a a是同向的，故可以表示为如下形式，其中 x x x是标量 p = a x p=ax p=ax   根据 e e e和 p p p正交的条件，可以推导出 x = a T b a T a x=\frac{a^Tb}{a^Ta} x=aTaaTb​，则 p = a a T b a T a = a a T a T a b = P b p=a\frac{a^Tb}{a^Ta}=\frac{aa^T}{a^Ta}b=Pb p=aaTaaTb​=aTaaaT​b=Pb P = a a T a T a P=\frac{aa^T}{a^Ta} P=aTaaaT​   记 P P P为投影矩阵，说明了向量 b b b在 a a a上的投影 p p p是一个矩阵作用在 b b b上得到的。 P P P的性质 1. P = P T P=P^T P=PT，对称矩阵一定可以特征值分解 2. r a n k ( P ) = 1 rank(P)=1 rank(P)=1，由单个向量张开的子空间，秩为1 3. P = P 2 P=P^2 P=P2，投影只起一次效果

投影矩阵的多维推广

  向量 b b b在子空间上的投影是向量 b b b在向量 a a a上投影的推广。即此时向量 a a a变成矩阵 A A A，记 A A A的列空间包含两个向量 a 1 , a 2 a_1,a_2 a1​,a2​，依旧记向量 b b b在 A A A空间上的投影为 p p p，则： p = A x = [ a 1 a 2 ] [ x 1 x 2 ] = a 1 x 1 + a 2 x 2 p=Ax=\begin{bmatrix} a_1&a_2\end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix}=a_1x_1+a_2x_2 p=Ax=[a1​​a2​​][x1​x2​​]=a1​x1​+a2​x2​   误差向量 e e e垂直于列空间的平面，故： { a 1 T ( b − p ) = 0 a 2 T ( b − p ) = 0 \left\{ \begin{aligned} a_1^T(b-p)=0 \\ a_2^T(b-p)=0 \end{aligned} \right. { a1T​(b−p)=0a2T​(b−p)=0​ A T ( b − p ) = 0 A^T(b-p)=0 AT(b−p)=0 A T ( b − A x ) = 0 A^T(b-Ax)=0 AT(b−Ax)=0 A T b = A T A x A^Tb=A^TAx ATb=ATAx x = ( A T A ) − 1 A T b x=(A^TA)^{-1}A^Tb x=(ATA)−1ATb   此时投影向量 p p p的形式为： p = A x = A ( A T A ) − 1 A T b = P b p=Ax=A(A^TA)^{-1}A^Tb=Pb p=Ax=A(ATA)−1ATb=Pb P = A ( A T A ) − 1 A T P=A(A^TA)^{-1}A^T P=A(ATA)−1AT   这存在一个疑问， A T A A^TA ATA是否可逆？若 A A A各列线性无关则可逆。 P P P的性质 1. P = P T P=P^T P=PT，对称矩阵一定可以特征值分解 2. r a n k ( P ) = r a n k ( A ) rank(P)=rank(A) rank(P)=rank(A)，由 A A A张开，故等秩 3. P = P 2 P=P^2 P=P2，投影只起一次效果

投影的物理意义

  向量投影到子空间的物理意义是什么？查看线性方程组 A x = b Ax=b Ax=b： A = [ a 1 a 2 ⋯ a n ] , x = [ x 1 x 2 ⋮ x n ] A=\begin{bmatrix} a_1&a_2&\cdots&a_n\end{bmatrix}, x=\begin{bmatrix} x_1 \\ x_2 \\\vdots\\x_n \end{bmatrix} A=[a1​​a2​​⋯​an​​],x=⎣⎢⎢⎢⎡​x1​x2​⋮xn​​⎦⎥⎥⎥⎤​ b = a 1 x 1 + a 2 x 2 + ⋯ + a n x n b=a_1x_1+a_2x_2+\cdots+a_nx_n b=a1​x1​+a2​x2​+⋯+an​xn​   上式的物理意义：把 A A A中的列向量看成 A A A的列空间中的基， x x x为坐标，则向量 b b b是否可用 A A A中的基线性表示，若出现以下情况：向量 b b b不在 A A A的列空间中，则上式无解。   此时，若将 b b b投影至 A A A的子空间，即 p = P b = A ( A T A ) − 1 A T b p=Pb=A(A^TA)^{-1}A^Tb p=Pb=A(ATA)−1ATb，求解 A x ^ = p A\hat{x}=p Ax^=p，因为 p p p最接近于 b b b，所以近似解 x ^ \hat{x} x^最接近于 x x x，以上即为最小二乘法的几何解释，数学描述如下： A x = b Ax=b Ax=b A x ^ = A ( A T A ) − 1 A T b A\hat{x}=A(A^TA)^{-1}A^Tb Ax^=A(ATA)−1ATb x ^ = ( A T A ) − 1 A T b \hat{x}=(A^TA)^{-1}A^Tb x^=(ATA)−1ATb

信号处理中的正交投影技术

  对于信号处理方向，矩阵论非常重要。   假设空间由干扰源张成的子空间以及噪声子空间构成，那么如何去除干扰？ 1.已知干扰 Q = C + P w I , C = D D H Q=C+P_wI, \quad C=DD^H Q=C+Pw​I,C=DDH   其中， D D D代表干扰源， C C C是由干扰源构成的协方差矩阵， P w P_w Pw​代表噪声功率。   若干扰源已知，即 D D D已知，则干扰源可用以下投影矩阵对消，全空间-干扰子空间的投影矩阵。 P = I − D ( D H D ) − 1 D H P=I-D(D^HD)^{-1}D^H P=I−D(DHD)−1DH P D = I D − D I = 0 PD=ID-DI=0 PD=ID−DI=0   综上可以发现，利用正交投影技术，可以将干扰源去掉。

2.未知干扰   对协方差矩阵 Q Q Q进行特征值分解，将干扰子空间和噪声子空间区分开。 Q = ∑ l = 1 L λ l e l ( i ) ( e l ( i ) ) H + ∑ l = L + 1 N λ l e l ( n ) ( e l ( n ) ) H Q=\sum_{l=1}^{L}{\lambda_le_{l}^{(i)}(e_{l}^{(i)})^H}+ \sum_{l=L+1}^{N}{\lambda_le_{l}^{(n)}(e_{l}^{(n)})^H} Q=l=1∑L​λl​el(i)​(el(i)​)H+l=L+1∑N​λl​el(n)​(el(n)​)H Q = E ( i ) Λ ( i ) ( E ( i ) ) ( H ) + E ( n ) Λ ( n ) ( E ( n ) ) ( H ) Q=E^{(i)}Λ^{(i)}(E^{(i)})^{(H)}+E^{(n)}Λ^{(n)}(E^{(n)})^{(H)} Q=E(i)Λ(i)(E(i))(H)+E(n)Λ(n)(E(n))(H) Q = Q ( i ) + Q ( n ) Q=Q^{(i)}+Q^{(n)} Q=Q(i)+Q(n)   因为特征向量相互正交，所以令投影矩阵 P = E ( n ) ( E ( n ) ) ( H ) P=E^{(n)}(E^{(n)})^{(H)} P=E(n)(E(n))(H)，此时 P D = 0 PD=0 PD=0，这里的 E ( i ) E^{(i)} E(i)就是由干扰 D D D构成的协方差矩阵,当然，也可以写成标准形式： P = I − E ( i ) ( ( E ( i ) ) ( H ) E ( i ) ) − 1 ( E ( i ) ) ( H ) P=I-E^{(i)}((E^{(i)})^{(H)}E^{(i)})^{-1}(E^{(i)})^{(H)} P=I−E(i)((E(i))(H)E(i))−1(E(i))(H)   因为不知道干扰，所以要对特征值及特征向量进行估计，区分哪些属于干扰子空间，哪些属于噪声子空间。

Ref： https://www.cnblogs.com/bigmonkey/p/9897047.html

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/186004.html原文链接：https://javaforall.cn