矩阵特殊运算

1. 直和

1.1 定义

$m \times m$矩阵$\boldsymbol{A}$ 与 $n \times n$ 矩阵 $\boldsymbol{B}$ 的直和记作$\boldsymbol{A} \oplus \boldsymbol{B}$ ，它是一个 $(m+n) \times (m+n)$ 的矩阵，定义为

1.2 性质

• 若 $c$ 为常数，则$c(\boldsymbol{A} \oplus \boldsymbol{B}) = c\boldsymbol{A} \oplus c\boldsymbol{B}$ 。
• 直和通常不满足交换性质，$\boldsymbol{A} \oplus \boldsymbol{B} = \boldsymbol{B} \oplus \boldsymbol{A}$ 当且仅当$\boldsymbol{A} = \boldsymbol{B}$ 。
• 若 $\boldsymbol{A},\boldsymbol{B}$ 为$m \times m$ 矩阵，且 $\boldsymbol{C},\boldsymbol{D}$ 为$n \times n$ 矩阵，则

• 若 $\boldsymbol{A},\boldsymbol{B},\boldsymbol{C}$ 分别是 $m \times m, n \times n, p \times p$ 矩阵，则

• 若$A_{m \times m}$ 和$B_{n \times n}$ 均为正交矩阵，则$\boldsymbol{A} \oplus \boldsymbol{B}$ 是$(m+n) \times (m+n)$ 正交矩阵。
• 矩阵直和的复共轭、转置、复共轭转置与逆矩阵（若$\boldsymbol{A}, \boldsymbol{B}$ 可逆）的关系：

2. Hadamard 积

2.1 定义

$m \times n$矩阵$\boldsymbol{A} = [a_{ij}]$ 与 $m \times n$ 矩阵$\boldsymbol{B} = [b_{ij}]$ 的 Hadamard 积（也称为 Schur 积或对应元素乘积）记作$\boldsymbol{A} * \boldsymbol{B}$ ，它仍然是一个 $m \times n$ 矩阵，其元素定义为两个矩阵对应元素的乘积：

即 Hadamard 积是一映射$\mathbb{R}^{m \times n} \times \mathbb{R}^{m \times n} \mapsto \mathbb{R}^{m \times n}$ 。

2.2 性质

2.2.1 基本性质

• 若 $\boldsymbol{A},\boldsymbol{B}$ 均为$m \times n$ 矩阵，则

• 若$c$ 为常数，则 $c(\boldsymbol{A} * \boldsymbol{B}) = (c\boldsymbol{A}) * \boldsymbol{B}$
• 正定（半正定）矩阵 $\boldsymbol{A},\boldsymbol{B}$ 的 Hadamard 积 $\boldsymbol{A}*\boldsymbol{B}$ 也是正定（半正定）的。

2.2.2 其他性质

• 若 $\boldsymbol{A},\boldsymbol{C}$ 为 $m \times m$ 矩阵，$\boldsymbol{B}, \boldsymbol{D}$ 为 $n \times n$ 矩阵，则

• 若 $\boldsymbol{A}, \boldsymbol{B}, \boldsymbol{C}, \boldsymbol{D}$ 均为 $m \times n$ 矩阵，则

• 若 $\boldsymbol{A}, \boldsymbol{B}, \boldsymbol{C}$ 均为 $m \times n$ 矩阵，则

2.2.3 不等式性质

• Oppenheim 不等式：$\boldsymbol{A}, \boldsymbol{B}$ 是 $n \times n$ 半正定矩阵，则

• 特征值不等式：$\boldsymbol{A}, \boldsymbol{B}$ 是$n \times n$ 半正定矩阵，$\lambda_1, \cdots, \lambda_n$ 是 $\boldsymbol{A}*\boldsymbol{B}$ 的特征值，$\hat{\lambda_1}, \cdots, \hat{\lambda_n}$ 是矩阵乘积 $\boldsymbol{AB}$ 的特征值，则

• 秩不等式：$\boldsymbol{A},\boldsymbol{B}$ 是$n \times n$ 矩阵，则

3. Kronecker 积（直积 / 张量积）

3.1 定义

3.1.1 Kronecker 积

两个矩阵的 Kronecker 积（也称为直积 / 张量积）分为右 Kronecker 积和左 Kronecker 积。

• 右 Kronecker 积：$m \times n$ 矩阵 $\boldsymbol{A} = [\boldsymbol{a}_1, \cdots, \boldsymbol{a}_n]$ 和$p \times q$ 矩阵 $\boldsymbol{B}$ 的右 Kronecker 积记作 $\boldsymbol{A} \otimes \boldsymbol{B}$ ，它是一个 $mp \times nq$ 矩阵，定义为：

• 左 Kronecker 积：$m \times n$ 矩阵$\boldsymbol{A}$ 和 $p \times q$ 矩阵 $\boldsymbol{B} = = [\boldsymbol{b}_1, \cdots, \boldsymbol{b}_q]$ 的左 Kronecker 积记作 $[\boldsymbol{A} \otimes \boldsymbol{B}]_\mathrm{left}$ ，它是一个$mp \times nq$ 矩阵，定义为：

可以看出，Kronecker 积是一映射：$\mathbb{R}^{m \times n} \times \mathbb{R}^{m \times n} \mapsto \mathbb{R}^{mp \times nq}$ ，且左右 Kronecker 积满足：

一般常用右 Kronecker 积。

3.1.2 广义 Kronecker 积

给定 $N$ 个$m \times r$ 矩阵 $\boldsymbol{A}_i, i=1,\cdots,N$ 组成矩阵组$\{A\}_N$ 。该矩阵组与 $N \times l$ 矩阵$B$ 的 Kronecker 积称为广义 Kronecker 积，定义为：

其中$，\boldsymbol{b}_i$ 是矩阵$\boldsymbol{B}$ 的第$i$ 个行向量。

3.2 性质

3.2.1 基本性质

• 不满足交换律：对矩阵 $\boldsymbol{A}_{m \times n}$ 和 $\boldsymbol{B}_{p \times q}$ ，一般有 $\boldsymbol{A} \otimes \boldsymbol{B} \ne \boldsymbol{B} \otimes \boldsymbol{A}$
• $\boldsymbol{A} \otimes \boldsymbol{0} = \boldsymbol{0} \otimes \boldsymbol{A} = \boldsymbol{0}$
• 若 $a,b$ 为常数，则$a\boldsymbol{A} \otimes b\boldsymbol{B} = ab(\boldsymbol{A} \otimes \boldsymbol{B})$
• $\boldsymbol{I}_m \otimes \boldsymbol{I}_n = \boldsymbol{I}_{mn}$
• 对于矩阵$\boldsymbol{A}_{m \times n}, \boldsymbol{B}_{n \times k}, \boldsymbol{C}_{l \times p}, \boldsymbol{D}_{p \times q}$ ，有

• 对于矩阵$\boldsymbol{A}_{m \times n}, \boldsymbol{B}_{p \times q}, \boldsymbol{C}_{p \times q}$ ，有

• 对于矩阵 $\boldsymbol{A}_{m \times n}, \boldsymbol{B}_{m \times n}, \boldsymbol{C}_{p \times q}, \boldsymbol{D}_{p \times q}$ ，有

• 对于矩阵$\boldsymbol{A}_{m \times n}, \boldsymbol{B}_{p \times q}, \boldsymbol{C}_{k \times l}$ ，有

• Kronecker 积的转置与复共轭转置

3.2.2 其他性质

• Kronecker 积的秩

• Kronecker 积的行列式

• Kronecker 积的迹

4. Khatri-Rao 积

4.1 定义

两个具有相同列数的矩阵$\boldsymbol{G} \in \mathbb{R}^{p \times n}$ 和$\boldsymbol{F} \in \mathbb{R}^{q \times n}$ 的 Khatri-Rao 积记为$\boldsymbol{F} \odot \boldsymbol{G}$ ，它是一个$pq \times n$ 矩阵，定义为：

它由两个矩阵对应列向量的 Kronecker 积排列而成，因此 Khatri-Rao 积又称为对应列 Kronecker 积。

4.2 性质

4.2.1 基本性质

• 分配律：

• 结合律：

• 交换律：

4.2.2 Khatri-Rao 积与 Hadamard 积的关系

4.2.3 Khatri-Rao 积与 Kronecker 积的关系