线性代数基础

标量

定义

一个单独的数

表示

1. 斜体小写字母：

1. 希腊字母：

向量

定义

具有大小（magnitude）和方向的量

表示

1. 粗体小写字母：

1. 粗体希腊字母：

1. 箭头表示：

1. 元素：

分类

行向量

列向量

模

范数

在一个

维线性空间

中，若对于任意向量

,均有非负实数

,并且其满足下列三个条件:

1. （非负性）:

当且仅当

时

1. （齐次性）:

1. （三角不等式）:

则称

是向量

的向量范数。

1-范数

2-范数（欧式范数）

∞-范数（无穷范数）

运算

加法

数乘

点积

定义

几何定义

高维

矩阵

机器学习基础公式

定义

二维数组

表示

1. 大写字母：

1. m×n 矩阵 A：

运算

加法

对应元素相加

基本性质

1. 交换率：

1. 结合率：

乘法

的列数与

的行数相等

1. 矩阵乘法一般不满足交换律

转置

定义

特殊矩阵

单位矩阵

零矩阵 / 全0矩阵

全1矩阵

对角矩阵

上三角矩阵

下三角矩阵

基本性质

1. 乘法结合律：

1. 乘法左分配律：

1. 乘法右分配律：

1. 对数乘的结合性：

1. 转置

线性相关

向量空间的一组元素中，若没有向量可用有限个其他向量的线性组合所表示，则称为 线性无关 或 线性独立，反之称为 线性相关(linearly dependent)。

结论

1. 含有零向量的向量组一定线性相关
2. 单位向量组线性无关

秩

向量组的秩

一个向量组

的秩是

的线性无关的向量的个数

矩阵的秩

如果把一个向量组看成一个矩阵， 则向量组的秩就是矩阵的秩

范数

在一个

维线性空间

中，若对于任意矩阵

,均有非负实数

,并且其满足下列四个条件:

1. （非负性）:

当且仅当

时

1. （齐次性）:

1. （三角不等式）:

1. （相容性）:

则称

是向量

的向量范数。

1-范数（列范数）

∞-范数（行范数）

2-范数

为

的特征值的绝对值的最大值

范数作用

1. 计算向量/矩阵相似程度
2. 计算向量距离

迹

在线性代数中，一个

的矩阵的 迹（或 迹数），是指的 主对角线（从左上方至右下方的对角线）上各个元素的总和，一般记作或

：

一个矩阵的迹是其 特征值 的总和（按代数重数计算）。

线性变换

n 个向量

与 m 个向量

之间的关系

表示从一个变量

到变量

的线性变换。

其中

为常数

系数矩阵

称之为 线性变换 的矩阵

线性变换 与 矩阵 是唯一确定的。

特征值与特征向量

设

为

阶矩阵，若存在常数

及

维非零向量

，使得

则称

是矩阵

的 特征值，

是

对就特征值

的 特征向量。

称为矩阵

的特征方程

应用

1. 主成分分析
2. 流行学习
3. LDA

正交投影

正交投影

二次型

n 个变量

的二次齐次多项式

其中

令

则多项式可写为：

该多项式是

元二次型，简称 二次型 该多项式也为二次型的矩阵形式

二次型经过变换，可以写成平方和形式

称为多项式一个标准型。

[注]

1. 任一二次型的标准型是存在的。
2. 可应用配方法得到二次型的标准型。

矩阵分解

QR分解

设非奇异矩阵

，则一定存在正交矩阵

,上三角矩阵

,使

且当

的主对角元素均为正数时，该分解式是唯一的。

[注]: 正交矩阵是

SVD 奇异值分解

设

是秩为

的

实矩阵， 则存在

阶正交矩阵

与

阶正交矩阵

，

使得

其中

为矩阵A的全部奇异值