矩阵的奇异值分解

#定义

设A\in C^{m\times n}，则矩阵A^{H}A的n个特征值\lambda _i的算术平方根\delta _{i}=\sqrt {\lambda _i}叫做A的奇异值（Singular Value ）。

设A\in C^{m\times n}，则存在酉矩阵U\in C^{m\times n}和V\in C^{m\times n}使得A=U\Sigma V^{H}式中\Sigma = \begin{bmatrix}\Sigma _1 & O\\O & O\\ \end{bmatrix}，且\Sigma _{1}=diag(\sigma _{1}, \sigma _{2}, ..., \sigma _{r})，其对角元素按照顺序\sigma _{1}\geqq \sigma _{2}\geqq ...\geqq\sigma _{r}\gt 0, \quad r=rank(A)排列。

这就是所谓的矩阵的奇异值分解（Singular Value Decomposition，SVD）

注：酉矩阵是正交矩阵在复数域的推广。

#求解

有两种求V, U的步骤：

1. 求A^{H}A的特征值及对应的特征向量，得到V. 其中非零向量特征值对应的特征向量构成矩阵V_1，由公式U_{1}=AV_{1}S^{-1}得到AA^H的非零特征值所对应的特征向量，其余的特征向量可以由Hermite矩阵的特征向量的正交性获得（显然不唯一）。
2. 求AA^{H}的特征值及对应的特征向量，得到U. 其中非零向量特征值对应的特征向量构成矩阵U_1，由公式V_{1}=A^{H}U_{1}S^{-1}得到AA^{H}的非零特征值所对应的特征向量，其余的特征向量可以由Hermite矩阵的特征向量的正交性获得（显然不唯一）。

在Matlab中可使用svd函数进行求解：

>> A = [1 0 1; 0 1 -1];
>> [U, S, V] = svd(A)

U =

   -0.7071    0.7071
    0.7071    0.7071


S =

    1.7321         0         0
         0    1.0000         0


V =

   -0.4082    0.7071   -0.5774
    0.4082    0.7071    0.5774
   -0.8165   -0.0000    0.5774