Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >学习笔记DL005:线性相关、生成子空间,范数,特殊类型矩阵、向量

学习笔记DL005:线性相关、生成子空间,范数,特殊类型矩阵、向量

原创
作者头像
利炳根
修改于 2017-11-21 01:54:22
修改于 2017-11-21 01:54:22
1.6K0
举报
文章被收录于专栏:利炳根的专栏利炳根的专栏

线性相关、生成子空间。

逆矩阵A⁽-1⁾存在,Ax=b 每个向量b恰好存在一个解。方程组,向量b某些值,可能不存在解,或者存在无限多个解。x、y是方程组的解,z=αx+(1-α),α取任意实数。

A列向量看作从原点(origin,元素都是零的向量)出发的不同方向,确定有多少种方法到达向量b。向量x每个元素表示沿着方向走多远。xi表示沿第i个向量方向走多远。Ax=sumixiA:,i。线性组合(linear combination)。一组向量线性组合,每个向量乘以对应标量系数的和。sumiciv⁽i⁾。一组向量的生成子空间(span)是原始向量线性组合后能抵达的点的集合。确定Ax=b是否有解,相当于确定向量b是否在A列向量的生成子空间中。A的列空间(column space)或A的值域(range)。方程Ax=b对任意向量b∈ℝ⁽m⁾都存在解,要求A列空间构成整个ℝ⁽m⁾。ℝ⁽m⁾点不在A列空间,对应b使方程没有解。矩阵A列空间是整个ℝ⁽m⁾的要求,A至少有m列,n>=m。否则,A列空间维数小于m。

列向量冗余为线性相关(linear dependence)。一组向量任意一个向量都不能表示成其他向量的线性组合,线性无关(linearly independent)。某个向量是一组向量中某些向量的线性组合,这个向量加入这组向量不会增加这组向量的生成子空间。一个矩阵列空间涵盖整个ℝ⁽m⁾,矩阵必须包含一组m个线性无关的向量。是Ax=b 对每个向量b取值都有解充分必要条件。向量集只有m个线性无关列向量,不是至少m个。不存在一个m维向量集合有多于m个彼此线性不相关列向量,一个有多于m个列向量矩阵有可能有不止一个大小为m的线性无关向量集。

矩阵可逆,要保证Ax=b 对每个b值至多有一个解。要确保矩阵至多有m个列向量。矩阵必须是一个方阵(square),m=n,且所有列向量线性无关。一个列向量线性相关方阵为奇异的(singular)。矩阵不是方阵或是奇异方阵,方程可能有解,但不能用矩阵逆求解。逆矩阵右乘AA⁽-1⁾=I。左逆、右逆相等。

范数(norm)。

衡量向量大小。L⁽p⁾:||x||p=(sumi|xi|⁽p⁾)⁽1/p⁾。p∈ℝ,p>=1。范数(L⁽p⁾范数),向量映射到非负值函数。向量x范数衡量从原点到点x距离。范数满足性质,f(x)=0=>x=0,f(x+y)<=f(x)+f(y)三解不等式(triangel inequality),∀α∈ℝ f(αx)=|α|f(x)。

p=2,L⁽2⁾范数称欧几里得范数(Euclidean norm)。表示从原点出发到向量x确定点的欧几里得距离。简化||x||,略去下标2。平方L⁽2⁾ 范数衡量向量大小,通过点积x⫟x计算。平方L⁽2⁾范数在数学、计算上比L⁽2⁾范数更方便。平方L⁽2⁾范数对x中每个元素的导数只取决对应元素。L⁽2⁾范数对每个元素的导数和整个向量相关。平方L⁽2⁾范数,在原点附近增长缓慢。

L⁽1⁾范数,在各个位置余率相同,保持简单数学形式。||x||1=sumi|xi|。机器学习问题中零和非零差异重要,用L⁽1⁾范数。当x中某个元素从0增加∊,对应L⁽1⁾范数也增加∊。向量缩放α倍不会改变该向量非零元素数目。L⁽1⁾范数常作为表示非零元素数目替代函数。

L⁽∞⁾范数,最大范数(max norm)。表示向量具有最大幅值元素绝对值,||x||₍∞₎=maxi|xi|。

Frobenius范数(Frobenius norm),衡量矩阵大小。||A||F=sqrt(sumi,jA⁽2⁾₍i,j₎)。

两个向量点积用范数表示,x⫟y=||x||2||y||2cosθ,θ表示x、y间夹角。

特殊类型矩阵、向量。

对角矩阵(diagonal matrix),只在主对角线上有非零元素,其他位置都是零。对角矩阵,当且仅当对于所有i != j,Di,j=0。单位矩阵,对角元素全部是1。

diag(v)表示对角元素由向量v中元素给定一个对角方阵。对角矩阵乘法计算高效。计算乘法diag(v)x,x中每个元素xi放大vi倍。diag(v)x=v⊙x。计算对角方阵的逆矩阵很高效。对角方阵的逆矩阵存在,当且仅当对角元素都是非零值,diag(v)⁽-1⁾=diag(1/v1,…,1/vn⫟)。根据任意矩阵导出通用机器学习算法。通过将矩阵限制为对象矩阵,得到计算代价较低(简单扼要)算法。

并非所有对角矩阵都是方阵。长方形矩阵也有可能是对角矩阵。非方阵的对象矩阵没有逆矩阵,但有高效计算乘法。长方形对角矩阵D,乘法Dx涉及x每个元素缩放。D是瘦长型矩阵,缩放后末尾添加零。D是胖宽型矩阵,缩放后去掉最后元素。

对称(symmetric)矩阵,转置和自己相等矩阵。A=A⫟。不依赖参数顺序双参数函数生成元素,对称矩阵常出现。A是矩离度量矩阵,Ai,j表示点i到点j距离,Ai,j=Aj,i。距离函数对称。

单位向量(unit vector),具有单位范数(unit norm)向量。||x||2=1。

x⫟y=0,向量x和向量y互相正交(orthogonal)。两个向量都有非零范数,两个向量间夹角90°。ℝⁿ至多有n个范数非零向量互相正交。向量不但互相正交,且范数为1,标准正交(orthonorma)。

正交矩阵(orthogonal matrix),行向量和列向量是分别标准正交方阵。 A⫟A=AA⫟=I,A⁽-1⁾=A⫟。正交矩阵求逆计算代价小。正交矩阵行向量不仅正交,还标准正交。行向量或列向量互相正交但不标准正交矩阵,没有对应专有术语。

参考资料:

深度学习

欢迎推荐上海机器学习工作机会,我的微信:qingxingfengzi

我有一个微信群,欢迎一起学深度学习。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
深度学习中的数学(二)——线性代数
线性可分的定义:线性可分就是说可以用一个线性函数把两类样本分开,比如二维空间中的直线、三维空间中的平面以及高维空间中的超平面。(所谓可分指可以没有误差地分开;线性不可分指有部分样本用线性分类面划分时会产生分类误差的情况。)
润森
2022/09/22
9630
深度学习中的数学(二)——线性代数
深度学习-数学基础
目前主要有两种度量模型深度的方式。第一种方式是基于评估架构所需执行的顺序指令的数目。假设我们将模型表示为给定输入后,计算对应输出的流程图,则可以将这张流程图中的最长路径视为模型的深度。另一种是在深度概率模型中使用的方法,它不是将计算图的深度视为模型深度,而是将描述概念彼此如何关联的图的深度视为模型深度。在这种情况下,计算每个概念表示的计算流程图的深度可能比概念本身的图更深。这是因为系统对较简单概念的理解在给出更复杂概念的信息后可以进一步精细化
范中豪
2019/09/10
8880
深度学习-数学基础
深度学习系列笔记(二)
我们定义一个包含向量中元素索引的集合,然后将集合写在脚标处,表示索引向量中的元素。比如,指定 x_1、x_3、x_6​​ ​,我们定义集合S={1,3,6}​ ,然后写作 x_S​ 。
Marigold
2022/06/17
1.4K0
深度学习系列笔记(二)
【机器学习基础】机器学习的数学基础
  作为一门以数据及其模型为研究对象的学科,优化模型、分析模型性能等都需要数学手段的帮助。和其他学科一样,数学可以帮我们更清晰地描述和理解机器学习算法,也可以从理论上证明算法的有效性,是机器学习中必不可少的一环。本文将会介绍机器学习中常用的数学工具,为后面的学习打下基础。
Francek Chen
2025/01/23
2440
【机器学习基础】机器学习的数学基础
《deep learning》学习笔记(2)——线性代数
http://blog.csdn.net/u011239443/article/details/77942575
小爷毛毛_卓寿杰
2019/02/13
5430
《deep learning》学习笔记(2)——线性代数
机器学习数学基础--线性代数
换种表达方式,线性无关是说:其中任意一个向量都不在其他向量张成空间中,也就是对所有的
Ai学习的老章
2019/05/10
1.2K0
机器学习数学基础--线性代数
呆在家无聊?何不抓住这个机会好好学习!
本公众号一向坚持的理念是数据分析工具要从基础开始学习,按部就班,才能深入理解并准确利用这些工具。鼠年第一篇原创推送比较长,将从基础的线性代数开始。线性代数大家都学过,但可能因为联系不到实用情况,都还给了曾经的老师。线性代数是数理统计尤其是各种排序分析的基础,今天我将以全新的角度基于R语言介绍线性代数,并手动完成PCA分析,从而强化关于线性代数和实际数据分析的联系。
SYSU星空
2022/05/05
8420
呆在家无聊?何不抓住这个机会好好学习!
万字长文带你复习线性代数!
课程主页:http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html
石晓文
2018/12/25
1.7K0
万字长文带你复习线性代数!
【读书笔记】之矩阵知识梳理
这篇笔记,主要记录花书第二章关于线性代数知识的回顾。希望把常用的概念和公式都记录下来,同时标记编号(为了方便,标记序号与书中一致),在后续公式推导过程中可以直接关联使用。 梳理成文章,主要
用户1594945
2018/07/20
9240
我的机器学习线性代数篇观点向量矩阵行列式矩阵的初等变换向量组线性方程组特征值和特征向量几个特殊矩阵QR 分解(正交三角分解)奇异值分解向量的导数
前言: 线代知识点多,有点抽象,写的时候尽量把这些知识点串起来,如果不行,那就两串。其包含的几大对象为:向量,行列式,矩阵,方程组。 观点 核心问题是求多元方程组的解,核心知识:内积、秩、矩阵求逆,应用:求解线性回归、最小二乘法用QR分解,奇异值分解SVD,主成分分析(PCA)运用可对角化矩阵 向量 基础 向量:是指具有n个互相独立的性质(维度)的对象的表示,向量常 使用字母+箭头的形式进行表示,也可以使用几何坐标来表示向量。 单位向量:向量的模、模为一的向量为单位向量 内积又叫数量积
DC童生
2018/04/27
1.9K0
我的机器学习线性代数篇观点向量矩阵行列式矩阵的初等变换向量组线性方程组特征值和特征向量几个特殊矩阵QR 分解(正交三角分解)奇异值分解向量的导数
「Deep Learning」读书系列分享第二章:线性代数 | 分享总结
「Deep Learning」这本书是机器学习领域的重磅书籍,三位作者分别是机器学习界名人、GAN 的提出者、谷歌大脑研究科学家 Ian Goodfellow,神经网络领域创始三位创始人之一的蒙特利尔大学教授 Yoshua Bengio(也是 Ian Goodfellow 的老师)、同在蒙特利尔大学的神经网络与数据挖掘教授 Aaron Courville。只看作者阵容就知道这本书肯定能够从深度学习的基础知识和原理一直讲到最新的方法,而且在技术的应用方面也有许多具体介绍。这本书面向的对象也不仅是学习相关专业的
AI研习社
2018/03/19
1.1K0
「Deep Learning」读书系列分享第二章:线性代数 | 分享总结
博客 | MIT—线性代数(上)
在中国不知所以的《线性代数》教材的目录排版下,当前大多数本土毕业生均能熟练使用公式计算行列式或求解线性方程组,却丝毫不能体会线性代数真正内涵的精髓所在。包括我在内,在学习机器学习那满篇的矩阵表示更是让人头痛欲裂,这让我事实上感受到了线性代数才是机器学习中最重要的数学工具,因此不得不静下心来按照网易名校公开课—“MIT线性代数”重学一遍,受到的启发超乎想象,线性代数新世界的大门似乎也对我缓缓打开,遂有了这两篇学习笔记,供自己或有兴趣的小伙伴后续参考。
AI研习社
2018/12/28
2.7K1
博客 | MIT—线性代数(上)
MADlib——基于SQL的数据挖掘解决方案(4)——数据类型之矩阵
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/78904700
用户1148526
2019/05/25
2.1K0
Deep Learning Chapter01:机器学习中线性代数
好久不见,大家好,我是北山啦。机器学习当中需要用到许多的数学知识,如今博主又要继续踏上深度学习的路程,所以现在在网上总结了相关的考研数学和机器学习中常见相关知识如下,希望对大家有所帮助。
北山啦
2022/10/31
5220
Deep Learning Chapter01:机器学习中线性代数
线性代数之行列式、矩阵和向量组
2、如何判断 向量 b或向量组 B是否可由向量组A 线性表示?如果能,写出表达式。 解法:以向量组A以及向量b或向量组B:为列向量构成矩阵,并对其进行初等行变换化为简化阶梯型矩阵,最终断定。 3、方法 向量组的线性相关性 判别向量组的线性相关、线性无关的常用方法需要记住:
用户11315985
2024/10/16
1920
线性代数之行列式、矩阵和向量组
博客 | MIT—线性代数(下)
1、 投影矩阵与最小二乘:向量子空间投影在机器学习中的应用最为广泛。就拿最小二乘的线性拟合来说,首先根据抽样特征维度假设线性方程形式,即假设函数。
AI研习社
2018/12/28
1.5K0
博客 | MIT—线性代数(下)
线性代数(持续更新中)
当 a\times d-b\times c=0 时 A 没有定义,A^{-1}不存在,则 A 是奇异矩阵。
浪漫主义狗
2023/09/04
3620
线性代数(持续更新中)
【机器学习】在向量的流光中,揽数理星河为衣,以线性代数为钥,轻启机器学习黎明的瑰丽诗章
在正式踏入机器学习的实战领域前,我们需要为自己筑起一座坚实的数学地基。 对于零基础的学习者而言,数学听起来也许陌生甚至有点“吓人”。然而,不必惧怕:本篇文章将带你从最直观的概念出发,帮助你理解和掌握线性代数这门支撑机器学习大厦的重要支柱。
半截诗
2025/01/09
2250
开发者必读:计算机科学中的线性代数(附论文)
来源:机器之心 作者:Petros Drineas、Michael W. Mahoney 本文共3994字,建议阅读6分钟。 本文为你分享一篇来自普渡大学与UC Berkeley两位教授的概述论文中的线性代数知识。 矩阵计算在计算机科学中占有举足轻重的地位,是每个开发者都需要掌握的数学知识。近日,来自普渡大学的 Petros Drineas 与 UC Berkeley 的 Michael Mahoney 提交了一篇概述论文《Lectures on Randomized Numerical Linear
数据派THU
2018/01/29
2.4K0
开发者必读:计算机科学中的线性代数(附论文)
线性代数(持续更新中)
当 a\times d-b\times c=0 时 A 没有定义,A^{-1}不存在,则 A 是奇异矩阵。
浪漫主义狗
2022/09/28
9340
线性代数(持续更新中)
推荐阅读
相关推荐
深度学习中的数学(二)——线性代数
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档