从零开始深入理解特征分解

特征分解是理解矩阵所代表的线性变换内在结构的钥匙，它通过寻找变换中方向不变的特性向量（特征向量） 和其缩放倍数（特征值），将复杂变换简化为纯粹的缩放，从而深刻地揭示了矩阵的幂、指数、行列式、迹、秩等本质属性。

特征分解是掌握众多高级算法的基石，应用遍及降维（PCA）、状态估计（卡尔曼滤波）、稳定性分析、矩阵计算等几乎所有科学与工程领域，深入理解特征分解，尤其是对称矩阵的性质，是掌握协方差传播、卡尔曼滤波（KF）等概念的必要前提。

1. 直观理解

一个矩阵 A 作为一个线性变换，可以将空间中的向量进行旋转、拉伸、剪切等操作，特征分解就是将一个复杂的变换，分解为“换基 - 缩放 - 换回原基”的过程。

特征分解的核心思想：在复杂的变换中，是否存在一些特殊的向量，其方向在经过变换后保持不变，这些特殊的向量就是特征向量，变换后，它们的方向要么保持不变，要么正好相反（即停留在自身张成的空间里），其长度的缩放倍数就是对应的特征值。

• 矩阵可以对空间中所有的点进行变换

• 向量 v₁ = [1, 1]ᵀ，经过 A 变换后变成了 [3, 3]ᵀ，原向量方向没有变，只是长度变成了原来的3倍。那么 v₁ 就是一个特征向量，其特征值 λ₁ = 3。
• 向量 v₂ = [1, -1]ᵀ，经过 A 变换后变成了 [1, -1]ᵀ，原向量的方向没有变，长度也没有变。那么 v₂ 也是一个特征向量，其特征值 λ₂ = 1。

这意味着矩阵 A 所代表的线性变换，其本质作用可以这样理解：

• 对于一组由特征向量构成的坐标系（v₁, v₂），在这组新的坐标系下，A 的变换效果变得非常简单，仅仅是在各个坐标轴方向上进行了纯粹的缩放（缩放比例就是特征值）。
• 特征值的大小决定了变换在这个方向上“影响力”的大小。

2. 数学推导

定义 对于一个 n × n 的方阵 A，如果存在一个标量 λ 和一个非零向量 v，使得：A v = λ v 那么：

• λ 称为矩阵 A 的一个 特征值。
• v 称为矩阵 A 的对应于 λ 的 特征向量。

推导求解

2.1 构造特征方程：

将定义式改写（目标是找到非零解 v）： Av−λv=0（合并同类项） (A−λI)v=0 其中 I 是单位矩阵。

2.2 解存在的条件：

根据线性代数理论，上述齐次线性方程组有非零解的充要条件是系数矩阵 (A - λI) 是奇异矩阵（即不可逆），亦即其行列式为零： det(A−λI)=0 这个方程称为矩阵 A 的 特征方程。

2.3 求解特征值：

det(A - λI) 是一个关于 λ 的 n 次多项式，称为 特征多项式。 解这个特征方程，得到的 n 个根（包括重根和复数根）就是矩阵 A 的 n 个特征值 λ1,λ2,...,λn

2.4 求解特征向量：

将求得的每一个特征值 λi 代回方程

求解这个齐次线性方程组，得到的每一个非零解 v 都是对应于 λ_i 的特征向量，所有解的集合（解空间）称为对应于 λ_i 的特征空间。

对角化特征分解 如果 n × n 矩阵 A 有 n 个线性无关的特征向量（即它是可对角化的），那么可以将这些特征向量作为列向量，组成一个矩阵 V： V=[v1,v2,...,vn]

同样，将对应的特征值组成一个对角矩阵 Λ： Λ=diag(λ1,λ2,...,λn)

根据特征值和特征向量的定义 Avi=λivi，我们可以将所有这些方程合并成一个矩阵方程： AV=VΛ

如果 V 是可逆的（即其特征向量线性无关），我们就可以得到矩阵 A 的特征分解，也称对角化： A=VΛV−1

这个分解的意义在于，它将矩阵 A 分解为三个简单矩阵的乘积：

• V⁻¹：变换到以特征向量为基的坐标系（“旋转”）。
• Λ：在新的坐标系下进行纯粹的缩放。
• V：变换回原来的标准坐标系（“逆旋转”）。

3. 性质分析

关键点

• 仅适用于方阵：特征分解只对方阵有定义。
• 可对角化条件：一个矩阵能否进行特征分解，取决于它是否有 n 个线性无关的特征向量，对称矩阵（实对称矩阵）总是可以对角化，并且其特征向量是正交的。
• 特征值可以是复数：即使矩阵元素全是实数，其特征值和特征向量也可能是复数（例如旋转矩阵）。

特殊矩阵

• 对称矩阵 (A = Aᵀ)：所有特征值都是实数，不同特征值对应的特征向量是正交的，总是可以被对角化，并且可以被正交对角化，即存在A=QΛQTA=QΛQT，其中 Q 是一个由标准正交特征向量组成的正交矩阵 (Q⁻¹ = Qᵀ)。这是奇异值分解（SVD）的基础。
• 正定矩阵：一个对称矩阵是正定的，当且仅当其所有特征值均为正数。
• 马尔可夫矩阵：其最大特征值 λ₁ = 1，这对应于系统的稳态。
• 投影矩阵：特征值是 0 或 1，1 对应的特征空间是投影的目标子空间，0 对应的是被“抛弃”的垂直空间。

特征值

• 迹：矩阵的迹（对角线元素之和）等于特征值之和，

• 行列式：矩阵的行列式等于特征值之积

• 秩：矩阵的秩等于其非零特征值的个数（考虑重数）。

4. 示例

5. 应用场景

• 主成分分析（PCA）：PCA的核心是计算数据的协方差矩阵，然后对其进行特征分解，特征值的大小表示数据在该特征向量方向上的方差（重要性），最大的特征值对应的特征向量就是第一主成分方向，这是最经典的降维技术。
• 状态估计与卡尔曼滤波：在Fast-LIO等算法中，误差协方差矩阵 P 的特征值和特征向量描述了状态估计的不确定性椭球，特征向量的方向是 不确定的主要方向，特征值的大小是该方向上的不确定程度，卡尔曼滤波的更新过程本质上就是在调整这个椭球的形状和方向。
• 稳定性分析：在机器人控制系统分析中，系统矩阵的特征值决定了系统的稳定性和动态响应，如果所有特征值的实部都为负，则系统是稳定的。
• 矩阵函数计算：计算矩阵的幂（A^k）或指数（exp(A)，用于解微分方程）非常困难，但通过特征分解 A = V Λ V⁻¹，计算变得简单：

其中 Λ^k 和 exp(Λ) 只是对对角线上的特征值进行同样的操作。