向量的1范数即：向量的各个元素的绝对值之和，上述向量a的1范数结果就是：29，MATLAB代码实现为：norm（a，1）；
（1）矩阵的核范数：矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩）；
在刚入门机器学习中的低秩，稀疏模型时，被各种范数搅得一团糟，严重延缓了学习进度，经过一段时间的学习，现在将其完整的总结一下，希望遇到同样麻烦的同学能有所帮助。。。
今天看了半天强化学习，看得很不开心。。。因为一直处于懵圈状态。。。 于是乎不想看了，稍微总结一下矩阵范数的求解来放松一下身心吧~
听说周日大疆就要笔试了，今年的秋招来的有点让人猝不及防啊，牛客的各种讨论群里都弥漫着一种恐惧的氛围，我是谁，我在哪，我该怎么办(惊恐脸)。。。。。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/78904700
numpy 早就用过了，但是长时间不用的话对其中的一些知识点又会忘记，又要去网上翻看各种博客，干脆自己把常用的一些东西记下来好了，以后忘了的话直接看自己写的笔记就行了
机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。 监督机器学习问题无非就是"minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！ 因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。但训练误差小并不是我们的最终
在现有的网络结构设计指导下，似乎卷积层后跟一个池化层下采样，已经是一个准则。我们重新思考了现有SOTA网络，并得出结论最大池化层是能被卷积层给替代。我们设计了一系列小网络，并提出了一种新的「反卷积方法」来去可视化CNN学习到的特征
本文主要整理了深度学习相关算法面试中经常问到的一些核心概念，并给出了细致的解答，分享给大家。
机器学习算法按照目标变量的类型，分为标称型数据和连续型数据。标称型数据类似于标签型的数据，而对于它的预测方法称为分类，连续型数据类似于预测的结果为一定范围内的连续值，对于它的预测方法称为回归。 “回归”一词比较晦涩，下面说一下这个词的来源： “回归”一词是由达尔文的表兄弟Francis Galton发明的。Galton于1877年完成了第一次回归预测，目的是根据上一代豌豆种子（双亲）的尺寸来预测下一代豌豆种子（孩子）的尺寸。 Galton在大量对象上应用了回归分析，甚至包括人的身高预测。他注意到，如果双亲
监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，
价值：根据当前数据，对比历史数据，结合市场规律对具体业务问题进行纠正，指导以及预测。
Numpy是Numerical Python extensions 的缩写，字面意思是Python数值计算扩展。Numpy是Python中众多机器学习库的依赖，这些库通过Numpy实现基本的矩阵计算，Python的OpenCV库自然也不例外。
深度学习通常又需要哪些数学基础？深度学习里的数学到底难在哪里？通常初学者都会有这些问题，在网络推荐及书本的推荐里，经常看到会列出一系列数学科目，比如微积分、线性代数、概率论、复变函数、数值计算、优化理论、信息论等等。这些数学知识有相关性，但实际上按照这样的知识范围来学习，学习成本会很久，而且会很枯燥。本章我们通过选举一些数学基础里容易混肴的一些概念作以介绍，帮助大家更好的理清这些易混肴概念之间的关系。
按道理讲，这些东西应该熟记于心的。但是自己真心不喜欢记这种东西，看到一个总结不错的博客，转载过来以便于自己查看把！原文
范数是一种数学概念，可以将向量或矩阵映射到非负实数上，通常被用来衡量向量或矩阵的大小或距离。在机器学习和数值分析领域中，范数是一种重要的工具，常用于正则化、优化、降维等任务中。
这就是我们出的新方法：批量核范数最大化（Batch Nuclear-norm Maximization）。
在做自然语言处理的过程中，现在智能对话比较火，例如智能客服，智能家电，智能音箱等，我们需要获取用户说话的意图，方便做出正确的回答，这里面就涉及到句子相似度计算的问题，那么本节就来了解一下怎么样来用 Python 实现句子相似度的计算。
首先权值共享就是滤波器共享，滤波器的参数是固定的，即是用相同的滤波器去扫一遍图像，提取一次特征特征，得到feature map。在卷积网络中，学好了一个滤波器，就相当于掌握了一种特征，这个滤波器在图像中滑动，进行特征提取，然后所有进行这样操作的区域都会被采集到这种特征，就好比上面的水平线。
numpy下的linalg=linear+algebra，包含很多线性代数的运算，主要用法有以下几种：
（4）Max, min, argmin, argmax （求最大、最小值，求最大值、最小值的位置）
今年找工作整理了一份机器学习岗的面经，在3月中旬拿到了某大厂的暑期实习offer，整理一下发出来和小伙伴们一起学习。这个面经分为多个部分，会不断更新。除此之外，还有几本参考书：
线性可分的定义：线性可分就是说可以用一个线性函数把两类样本分开，比如二维空间中的直线、三维空间中的平面以及高维空间中的超平面。（所谓可分指可以没有误差地分开；线性不可分指有部分样本用线性分类面划分时会产生分类误差的情况。）
Numpy是用来存储和处理大型矩阵，比Python自身的嵌套列表结构要高效的多，本身是由C语言开发。这个是很基础的扩展，其余的扩展都是以此为基础。
1、linalg=linear（线性）+algebra（代数），norm则表示范数。首先需要注意的是范数是对向量（或者矩阵）的度量，是一个标量（scalar）：
很多人第一次听说 SVM 时都觉得它是个非常厉害的东西，但其实 SVM 本身“只是”一个线性模型。
今17年，近期和团队整理BAT机器学习面试1000题系列，侧重机器学习、深度学习。我们将通过这个系列索引绝大部分机器学习和深度学习的笔试面试题、知识点，它将更是一个足够庞大的机器学习和深度学习面试库/知识库，通俗成体系且循序渐进。 此外，有四点得强调下： 1、虽然本系列主要是机器学习、深度学习相关的考题，其他类型的题不多，但不代表应聘机器学习或深度学习的岗位时，公司或面试官就只问这两项，虽说是做数据或AI相关，但基本的语言（比如Python）、编码coding能力（对于开发，编码coding能力怎么强调都不
使用交叉熵损失的原因是它求导结果简单，易于计算，最后结果中Softmax损失函数对应于每一项概率的偏导即为通过Softmax计算出的概率向量中对应真正结果的那一维减1。比如通过若干层计算，最后得到某个训练样本对应的分类得分为[1, 5, 3]，那么通过Softmax计算得到概率分别为[0.015, 0.886, 0.117]，假设样本正确的分类为第二类，则对应每项的偏导为[0.015, 0.886-1, 0.117]，根据这个向量就可以进行反向传播了
深度学习时代，机器学习通常归结为首先为手头的学习任务定义合适的目标/成本函数，然后使用梯度下降的某种变体（通过反向传播实现）来优化这个函数。
.但是 Ng 常常胜省略不写,因为 W 已经是一个高维参数矢量,已经可以表达高偏差问题.
现在市面上谈论到的数据挖掘基本上都是基于统计学习的监督学习或非监督学习问题。尤其以监督学习应用面更广。
线性可分SVM学习方法，对线性不可分训练数据是不适用的，怎么将它扩展到线性不可分，需要修改硬间隔最大化，使其成为软间隔最大化。
汉明距离的定义：两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为2。 应用：信息编码（为了增强容错性，应使得编码间的最小汉明距离尽可能大）。
来源：深度学习爱好者 知乎 https://zhuanlan.zhihu.com/p/81020717 本文约3700字，建议阅读10分钟 本文为你总结十个优化算法的公式，并附上了简单的Python实现。 无论是什么优化算法，最后都可以用一个简单的公式抽象： 是参数，而 是参数的增量，而各种优化算法的主要区别在于对 的计算不同，本文总结了下面十个优化算法的公式，以及简单的Python实现： SGD Momentum Nesterov Momentum AdaGrad RMSProp Ada
好久没有整理面试题了，最近总有读者翻出之前的面试题，问我会不会继续整理，今天给大家分享一波自己整理的常见机器学习面试题。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/article/details/54984251
，分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面可能有很多。直观上看，应该去找位于两类训练样本“正中间”的划分超平面，因为该划分超平面对训练样本局部扰动的“容忍性”最好。例如由于训练集的局限性或噪声的因素，训练集外的样本可能比训练样本更接近两个类的分隔界，这将使许多划分朝平面出现错误，而红色的超平面受影响最小。换言之，这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。
版权声明：本文为CSDN博主「ChangHengyi」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/ChangHengyi/article/details/80577318
虽然有凑数的嫌疑，不过还是把SGD也顺带说一下，就算做一个符号说明了。常规的随机梯度下降公式如下：
教程地址：http://www.showmeai.tech/tutorials/83
本文是根据Python数学建模算法与应用这本书中的例程所作的注解，相信书中不懂的地方，你都可以在这里找打答案，建议配合书阅读本文
Predicting potential small molecule–miRNA associations based on bounded nuclear norm regularization 论文摘要：
向量范数 1-范数： ，即向量元素绝对值之和，matlab调用函数norm(x, 1) 。 2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。 -范数：，即所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)。 -范数：，即所有向量元素绝对值中的最小值，matlab调用函数norm(x, -inf)。 p-范数：，即向量元素绝对值的p次方和的1/p次幂，matlab调用函数norm(x,
在机器学习项目中，你肯定要在代码中实现各种运算，其中必然要用到各种数学符号，因此，必须了解并熟知如何实现。
机器学习中的基本数学知识 注：本文的代码是使用Python 3写的。 机器学习中的基本数学知识 线性代数（linear algebra） 第一公式 矩阵的操作 换位(transpose) 矩阵乘法 矩阵的各种乘积 内积 外积 元素积(element-wise product/point-wise product/Hadamard product 加 低等数学 几何 范数(norm) 拉格朗日乘子法和KKT条件 微分（differential） 表示形式 法则 常见导数公式 统计学/概率论 信息论
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
