SymPy是Python符号计算库。其目标是成为一个功能齐全的计算机代数系统，代码保持简洁，易于理解和扩展。Python是完全由Python编写的，不依赖外部库。
动机：为了深入了解深度学习，我决定从零开始构建神经网络，并且不使用类似 Tensorflow 的深度学习库。我相信，对于任何有理想的数据科学家而言，理解神经网络内部的运作方式都非常重要。
在微积分中我们学过，沿着梯度grad(f)方向，函数f的方向导数有最大值。所以要找到函数的极大值，最好的方法是沿着该函数的梯度方向探寻，称之为梯度上升算法。同理，要找到函数的极小值，沿着该函数的梯度的相反方向探寻，称之为梯度下降算法。在机器学习领域，我们常需求解权重参数取何值时损失函数最小，梯度下降算法是一种很重要的算法。
这是一份用于理解深度学习内部运作方式的初学者指南。作者根据自己从零开始学习用 Python 构建神经网络的经验，编写了一份攻略。内容涵盖神经网络定义、损失函数、前向传播、反向传播、梯度下降算法，对于想要了解深度学习运作原理的各位来说，内容精彩不可错过。
机器学习中大部分都是优化问题，大多数的优化问题都可以使用梯度下降/上升法处理，所以，搞清楚梯度算法就非常重要。
作者：James Loy 机器之心编译 参与：陈韵竹、王淑婷 这是一份用于理解深度学习内部运作方式的初学者指南。作者根据自己从零开始学习用 Python 构建神经网络的经验，编写了一份攻略。内容涵盖神经网络定义、损失函数、前向传播、反向传播、梯度下降算法，对于想要了解深度学习运作原理的各位来说，内容精彩不可错过。 动机：为了深入了解深度学习，我决定从零开始构建神经网络，并且不使用类似 Tensorflow 的深度学习库。我相信，对于任何有理想的数据科学家而言，理解神经网络内部的运作方式都非常重要。 本文涵
神经网络和深度学习（二）——从logistic回归谈神经网络基础 （原创内容，转载请注明来源，谢谢） 一、概述 之前学习机器学习的时候，已经学过logistic回归，不过由于神经网络中，一些思想会涉及到logistic，另外会拿一些神经网络用到的解决方案，以logistic来举例，更浅显易懂（例如BP算法）。 因此，这里就再次复习logistic回归及其梯度下降、代价函数等，主要是讲述和后面学习神经网络有关的内容，其他部分会快速略过。 二、logistic输出函数 logistic是解决
因为计算机能做的就只是计算，所以人工智能更多地来说还是数学问题[1]。我们的目标是训练出一个模型，用这个模型去进行一系列的预测。于是，我们将训练过程涉及的过程抽象成数学函数：首先，需要定义一个网络结构，相当于定义一种线性非线性函数；接着，设定一个优化目标，也就是定义一种损失函数（loss function）。
几乎所有机器学习算法在训练或预测时都归结为求解最优化问题，如果目标函数可导，在问题变为训练函数的驻点。通常情况下无法得到驻点的解析解，因此只能采用数值优化算法，如梯度下降法，牛顿法，拟牛顿法。这些数值优化算法都依赖于函数的一阶导数值或二阶导数值，包括梯度与Hessian矩阵。因此需要解决如何求一个复杂函数的导数问题，本文讲述的自动微分技术是解决此问题的一种通用方法。关于梯度、Hessian矩阵、雅克比矩阵，以及梯度下降法，牛顿法，拟牛顿法，各种反向传播算法的详细讲述可以阅读《机器学习与应用》，清华大学出版社，雷明著一书，或者SIGAI之前的公众号文章。对于这些内容，我们有非常清晰的讲述和推导。
梯度下降无疑是大多数机器学习(ML)算法的核心和灵魂。我绝对认为你应该花时间去理解它。因为对于初学者来说，这样做能够让你更好地理解大多数机器学习算法是如何工作的。另外，想要培养对复杂项目的直觉，理解基本的概念也是十分关键的。
。也就是说，在代码实现的过程中，虽然我们实现的一个函数可能带有很多个变量，但是可以用偏函数的形式把其中一些不需要拆分和变化的变量转变为固有变量。比较典型的两个例子是计算偏导数和多进程优化。虽然大部分支持自动微分的框架都有相应的支持偏导数的接口，多进程操作中也可以指定额外的args，但是这些自带的方法在形式上都是比较tricky的，感觉并不如使用偏函数优雅和简洁。这里我们主要介绍python中可能会用到的偏函数功能--partial。
【导读】本文是深度学习专家Thalles Silva分享的一篇技术博客，主要讲解机器学习算法中的梯度下降。首先从形象的角度介绍梯度下降：梯度、偏导数等。然后，根据一个具体的例子“根据历史数据来预测当前
学习如何用神经网络的思维模式提出机器学习问题、如何使用向量化加速你的模型。 先介绍一些名词 training set (训练集) feature vector(特征向量) classifier(分类器) calculus（微积分） 循环（loop） 数据集（datasets） vectorization (向量化) matrix(矩阵) vector(向量) 本周用到的一些符号【Notation】 （x,y）表示一个单独的样本 x是xn维的特征向量 标签y值为0/1 训练集由m个训练样本构成 (x^
代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。
深度学习背后的核心有标量、向量、矩阵和张量这 4 种数据结构，可以通过使用这些数据结构，以编程的方式解决基本的线性代数问题
本文将从反向传播的本质、反向传播的原理、反向传播的案例三个方面，详细介绍反向传播（Back Propagation）。
¹ Jasper Snoek 等人，“机器学习算法的实用贝叶斯优化”，《第 25 届国际神经信息处理系统会议论文集》2（2012）：2951–2959。
在上一篇推送中总结了用数学方法直接求解最小二乘项的权重参数，然而有时参数是无法直接求解的，此时我们就得借助梯度下降法，不断迭代直到收敛得到最终的权重参数。首先介绍什么是梯度下降，然后如何用它求解特征的权重参数，欢迎您的阅读学习。 1 梯度下降 梯度是函数在某点处的一个方向，并且沿着该方向变化最快，变化率最大。 沿着梯度这个方向，使得值变大的方向是梯度上升的方向，沿着使值变小的方向便是下降的方向。 综上，梯度下降的方向就是在该点处使值变小最快的方向。 2 梯度下降求参数 2.1 求梯度 在上个推送中我们得出了
在一元函数中，我们已经知道导数就是函数的变化 率。对于二元函数我们同样要研究它的“变化率”。然而，由于自变量多了一个，情况就要复杂的多。
1.偏导数 代数意义 偏导数是对一个变量求导,另一个变量当做数 对x求偏导的话y就看作一个数,描述的是x方向上的变化率 对y求偏导的话x就看作一个数,描述的是y方向上的变化率 几何意义 对x求偏导是曲面z=f(x,y)在x方向上的切线 对y求偏导是曲面z=f(x,y)在x方向上的切线 这里在补充点.就是因为偏导数只能描述x方向或y方向上的变化情况,但是我们要了解各个方向上的情况,所以后面有方向导数的概念.
线性回归应该是我们听过次数最多的机器学习算法了。在一般的统计学教科书中，最后都会提到这种方法。因此该算法也算是架起了数理统计与机器学习之间的桥梁。线性回归虽然常见，但是却并不简单。
Autograd (自动梯度）是Pytorch能够快速又灵活地构建机器学习模型的关键。它能够用来快速而简单地计算复杂函数的多重偏导数，它是基于反向传播的神经网络学习的核心。
多元复合函数是用在bp神经网络或者叫做神经网络的bp算法当中。深度学习是基于深度神经网络的。多元复合函数在神经网络算法当中有很大的用处。习惯性当中，把多元复合函数求导法则称为链式法则。
项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
机器学习作为一门复杂而强大的技术，其核心在于对数据的理解、建模和预测。理解机器学习的数学基础对于深入掌握其原理和应用至关重要。本文将深入介绍机器学习中的数学基础，包括概率统计、线性代数、微积分等内容，并结合实例演示，使读者更好地理解这些概念的实际应用。
偏导数函数（HLSL中的ddx和ddy，GLSL中的dFdx和dFdy）是片元着色器中的一个用于计算任何变量基于屏幕空间坐标的变化率的指令（函数）。在WebGL中，使用的是dFdx和dFdy，还有另外一个函数fwidth = dFdx + dFdy。
梯度下降算法是一个很基本的算法，在机器学习和优化中有着非常重要的作用，本文首先介绍了梯度下降的基本概念，然后使用Python实现了一个基本的梯度下降算法。梯度下降有很多的变种，本文只介绍最基础的梯度下
在之前的文章中，我们介绍了 RNN 的基本结构并将其按时间序列展开成 Cells 循环链，称为 RNN cells。下面，我们将揭示单个 RNN Cell 的内部结构和前向传播计算过程。
使用Python中的Sympy库解决高等数学中极限、导数、偏导数、定积分、不定积分、双重积分等问题
本文转载自：机器之心 模型的训练、调参是一项非常费时费力的工作，了解神经网络内部的数学原理有利于快速找出问题所在。本文作者从零开始，一步一步讲解了训练神经网络时所用到的数学过程。
梯度是微积分中的基本概念，也是机器学习解优化问题经常使用的数学工具（梯度下降算法），虽然常说常听常见，但其细节、物理意义以及几何解释还是值得深挖一下，这些不清楚，梯度就成了“熟悉的陌生人”，仅仅“记住就完了”在用时难免会感觉不踏实，为了“用得放心”，本文将尝试直观地回答以下几个问题，
本文是我在阅读 Erik Learned-Miller 的《Vector, Matrix, and Tensor Derivatives》时的记录。 本文的主要内容是帮助你学习如何进行向量、矩阵以及高阶张量（三维及以上的数组）的求导。并一步步引导你来进行向量、矩阵和张量的求导。
最近学习吴恩达《Machine Learning》课程以及《深度学习入门：基于Python的理论与实现》书，一些东西总结了下。现就后者学习进行笔记总结。本文是本书的学习笔记（四）神经网络的学习的上半部分。
我们在前面说过机器学习中的损失函数，其实机器学习中的每一个模型都是在求损失函数的最优解，即让损失达到最小值/极小值，求解方式有多种，本篇讲讲其中两个基本的优化方法：
神经网络是线性模块和非线性模块的巧妙排列。当聪明地选择并连接这些模块时，我们就得到了一个强大的工具来逼近任何一个数学函数，如一个能够借助非线性决策边界进行分类的神经网络。
本文介绍了如何通过梯度下降法、牛顿法和拟合法等计算和解决神经网络中的参数问题。首先介绍了梯度下降法，包括批量梯度下降、随机梯度下降和小批量梯度下降。然后介绍了牛顿法，包括拟合、求导和求解。最后介绍了学习系数，包括调整参数、定义初始值和学习率调整。
梯度出现在 高等数学下册 的 第九章：多元函数微分法及其应用 第七节： 方向导数与梯度中；（讲的非常清楚） 在讲到这个概念的时候，也是从二元函数开始入手，并没有讨论一元的情况，所以根据我的理解，梯度是一个出现在多元函数里面的概念，不存在一元的讨论里面； 同理，偏导数和方向导数只存在于多元函数的情况下，一元函数不会去讨论这些； 以下图来自以同济6版高数。 一、梯度 1）导数 对于一元函数而言，对某一点沿着唯一的一个自变量方向的变化率，就是导数。 2）偏导数 对于多元函数而言，对于某一点沿着每个自变量的方向
除了深度学习，反向传播算法在许多其他领域也是一个强大的计算工具，从天气预报到分析数值稳定性——区别只在于名称差异。事实上，这种算法在几十个不同的领域都有成熟应用，无数研究人员都为这种“反向模式求导”的形式着迷。
【导读】大家好，我是泳鱼，一个乐于探索和分享AI知识的码农！模型的训练、调参是一项非常费时费力的工作，了解神经网络内部的数学原理有利于快速找出问题所在。本文作者从零开始，一步一步讲解了训练神经网络时所用到的数学过程。
好不容易大学毕业了，终于逃脱了高数老师的魔掌，以为从今以后再也不用管那些什么极限、微积分、矩阵、共轭、转置、中值定理、拉格朗日、毕达哥拉斯……了。 然鹅，很不幸，当你企图进军机器学习的时候，你发现，当年你不应该在上数学课的时候偷瞄漂亮的女生，暗骂白发的先生，而是应该好好听讲。 后悔是没用的，行动起来，补习功课吧！我们从最基础的求导微分概念开始。 一元函数 先来看最最简单的一元函数的情况： 【导数】：函数y = f(x) 在点x0的某个邻域内有定义， 则当自变量x在x0处取得增量 delta_x，函数输出值也
爱在七夕 七夕，农历七月初七， 人们说它是中国的情人节， 可最初它是中国少女的乞巧节， 而现在，这些都不重要， 重要的是， 它是属于所有心中有“爱”之人的节日。 PPV课在这里祝福各位情人节快乐！ 今天，面对 AI 如此重要的江湖地位，深度学习作为重要的一个研究分支，几乎出现在当下所有热门的 AI 应用领域，其中包含语义理解、图像识别、语音识别，自然语言处理等等，更有人认为当前的人工智能等同于深度学习领域。 如果在这个人工智能的时代，作为一个有理想抱负的程序员，或者学生、爱好者，不懂深度学习这个超
关于深度学习，网上的资料很多，不过貌似大部分都不太适合初学者。 这里有几个原因： 深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲，有些读者就会有畏难的情绪，因而容易过早地放弃。 2.中国人或美国人写的书籍或文章，普遍比较难一些。我不太清楚为什么，不过确实是这样子的。深度学习，确实需要一定的数学基础，但真的那么难么？这个，还真没有。不信？听我来给你侃侃。看完，你也会觉得没那么难了。本文是针对初学者，高手可以无视，有不对的地方，还请多多批评指正。这里，先推荐一篇非常不错的文章： 《1天搞
从上图，我们得到了这样的几个信息，指数函数过(0,1)点，单调递增/递减，定义域为(−∞,+∞)，值域为(0,+∞)，再来我们看一下sigmoid函数的图像：
关于线性回归相信各位都不会陌生，当我们有一组数据（譬如房价和面积），我们输入到excel，spss等软件，我们很快就会得到一个拟合函数:
机器学习中的大部分问题都是优化问题，而绝大部分优化问题都可以使用梯度下降法（Gradient Descent）处理，那么搞懂什么是梯度，什么是梯度下降法就非常重要。 提到梯度，就必须从导数（deriv
sigmoid Sigmoid函数，即f(x)=1/(1+e-x)。是神经元的非线性作用函数。 2. 函数： 1.1 从指数函数到sigmoid 首先我们来画出指数函数的基本图形：
为了知道模块中可以调用哪些函数和类，我们调用 dir 函数。例如，我们可以(查询随机数生成模块中的所有属性：)
启动jupyter notebook，使用新增的pytorch环境新建ipynb文件，为了检查环境配置是否合理，输入import torch以及torch.cuda.is_available() ，若返回TRUE则说明实验环境配置正确，若返回False但可以正确导入torch则说明pytorch配置成功，但实验运行是在CPU进行的，结果如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
