首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

从零开始学量化(六):用Python做优化

等) 最小二乘优化(least_squares)和曲线拟合(curve_fit) 一元优化问题(minimize_scalar)和一元方程数值解(root_scalar) 多元方程求根(root) 1...当然求解一元的优化问题也可以用minimize,但尝试过之后发现用minimize_scalar的速度要更快一些,下面具体说明 一元优化问题 用minimize_scalar解一元优化。...args:优化函数的其他输入参数 只需要注意,如果自变量x没有区间设定,直接用默认的就可以了,如果x有区间约束,必须用'bounded'方法。 举个例子: ?...返回值的fun是最优函数值,x是最优自变量,可以看出,method取brent时,设定区间没什么用。...像jac,hess是求解过程中计算梯度和计算hessian矩阵的函数,你可以自己设定,也可以用它默认的。 method总体可以分为两类:可以加约束的,不可以加约束的。

6.2K21

深度好文 | 探索 Scipy 与统计分析基础

模块 本文主要基于SciPy实现统计分布及检验,SciPy是基于NumPy的,提供了更多的科学计算功能,比如线性代数、优化、积分、插值、信号处理等。...常见的股票概率分布方法[1] 累积分布 累积分布函数,又叫分布函数,是概率密度函数的积分,能完整描述一个实随机变量X的概率分布。...如:明天会下雨等 引申到统计学中,我们所关心的“事物未知事实”是什么? 统计学定义:对总体参数的的数值所作的一种陈述。 对总体参数包括总体均值、比例、方差等在分析之前进行陈述。...斯皮尔曼等级相关对数据条件的要求没有积差相关系数严格,只要两个变量的观测值是成对的等级评定资料,或者是由连续变量观测资料转化得到的等级资料,不论两个变量的总体分布形态、样本容量的大小如何,都可以用斯皮尔曼等级相关来进行研究...一个肯德尔检验是一个无参数假设检验,它使用计算而得的相关系数去检验两个随机变量的统计依赖性。

4.1K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    深度好文 | 探索 Scipy 与统计分析基础

    模块 本文主要基于SciPy实现统计分布及检验,SciPy是基于NumPy的,提供了更多的科学计算功能,比如线性代数、优化、积分、插值、信号处理等。...随机变量和概率分布 常见的股票概率分布方法[1] 累积分布 累积分布函数,又叫分布函数,是概率密度函数的积分,能完整描述一个实随机变量X的概率分布。...np.ones_like(bins) 返回一个用1填充的跟输入 形状和类型 一致的数组。...斯皮尔曼等级相关对数据条件的要求没有积差相关系数严格,只要两个变量的观测值是成对的等级评定资料,或者是由连续变量观测资料转化得到的等级资料,不论两个变量的总体分布形态、样本容量的大小如何,都可以用斯皮尔曼等级相关来进行研究...一个肯德尔检验是一个无参数假设检验,它使用计算而得的相关系数去检验两个随机变量的统计依赖性。

    3K30

    利用协方差,Pearson相关系数和Spearman相关系数确定变量间的关系

    例如: 一个变量可能决定或取决于另一个变量的值。 一个变量很容易与另一个变量有关联。 两个变量可能取决于第三个未知变量。 这在数据分析和建模中很有用,可以更好地理解变量间的关系。...pearsonr() SciPy函数可以计算两个相同长度的数据样本的Pearson相关系数。我们可以计算出测试问题中两个变量间的相关。 下面列出了完整的示例。 ?...可以用Pearson相关系数来评估两个以上变量间的关系。 这可以通过计算数据集中每一对变量之间关系的矩阵来实现。...用spearmanr() SciPy函数计算两个相同长度的数据样本的Spearman相关系数。我们可以计算出测试问题中两个变量间的相关。 下面列出了完整的示例。 ?...用正、负相关生成你自己的数据集,并计算相关系数。 编写函数计算数据集的皮尔逊或斯皮尔曼相关矩阵。 建立一个标准的机器学习数据集,并计算所有实值变量对的相关系数。

    1.9K30

    Python数据分析与实战挖掘

    基础篇 书推荐:《用python做科学计算》 扩展库 简介 Numpy数组支持,以及相应的高效处理函数 Scipy矩阵支持,以及相应的矩阵数值计算模块 Matplotlib强大的数据可视化工具、作图库...最近邻插补法 在记录中找到与缺失样本最接近的样本的该属性值进行插补 回归方法 根据已有数据和与其有关的其他变量数据建立拟合模型来预测 插值法 建立合适的插值函数f(x),未知值计算得到。...逐个加入最优属性,直到无最优或满足条件 {}—— 逐步向后删除 从全集开始,每次删除最差属性,直到无最差或满足阈值 决策树归纳 利用决策树归纳能力进行分类,删除未出现的属性,即效果差的属性 主成分分析 用少量变量解释大部分变量...回归方法 根据已有数据和与其有关的其他变量数据建立拟合模型来预测 插值法 建立合适的插值函数f(x),未知值计算得到。...对一个或多个自/因变量线性建模,用最小二乘法求系数 非线性回归 因/自变量是非线性 非线性建模 Logistic回归 因变量为0或1 广义线性回归特例,利用Logistic函数将因变量控制0-1内表示取值为

    3.7K60

    一文搞懂什么是效应量度量

    这突出了对计算和报告结果的标准方法的需求。 效应量方法是指用于量化实验结果中效应量的一套统计工具,可用于补充统计假设检验的结果。 在本教程中,你将发现用于量化结果大小的效应量和效应量的度量。...这些仅作为示例,并不是包含所有;可能有100种方法可用于计算效应量。 计算关联效应量 变量之间的关联通常被称为效应量方法的“ r family ”。...这个名字或许来自于计算效应量的最常用方法,Pearson相关系数,也称为Pearson’s r。 Pearson相关系数衡量两个实值变量之间的线性相关程度。...在Python中使用SciPy的函数pearsonr()计算Pearson相关系数。...下面的函数将计算两个实值变量样本的Cohen d度量。NumPy函数mean()和var()分别用于计算样本均值和方差。

    2K20

    使用Python计算非参数的秩相关

    AiTechYun 编辑:yxy 相关性是两个变量之间关联的度量。 当两个变量都有良好理解的高斯分布时,很容易计算和解释。...秩相关是指使用变量之间序数的关联(而不是特定值)来量化变量之间的关联的方法。有序数据是具有标签值并具有顺序或秩相关的数据;例如:' 低 ',' 中 '和' 高 '。 可以为实值变量计算秩相关。...Spearman秩相关的直觉是,它使用秩值而不是实际值来计算Pearson相关。Pearson相关性由两个变量中每个变量的方差或分布的标准化的协方差计算。...Spearman的秩相关可以在Python中使用SciPy函数spearmanr()计算。 该函数需要两个实值样本作为参数,并返回介于-1和1之间的相关系数以及用于解释系数意义的p值。...在Python中,Kendall秩相关系数可以使用SciPy函数kendalltau()计算。它将两个数据样本作为参数,并返回相关系数和p值。

    2.7K30

    【精华干货】Quant 需要哪些 Python 知识

    scipy, numpy:科学计算的库,类似于一个小型matlab或者octave statsmodels : 看名字就知道,统计分析的包。...针对计算瓶颈可以使用cython拓展,针对API可以用boost.python和swig进行封装,调用matlab直接运行其中提供的特定算法,使用COM接口调用Excel自动生成每日交易记录和报表......数据回测,比较粗的回测一般就直接在Spyder里随手写测试脚本:读取原始数据,用矩阵的形式计算一些变量(技术指标、希腊值),然后用循环逐行跑回测,结果出来后用matplotlib绘图很方便。...比较精细的回测会基于vn.py中模拟实盘交易的回测框架,在速度上会慢些,但是可以基本杜绝未来函数。 建模相关:这块不是本人的主攻领域,偶尔有需求拿SciPy边看文档边写。...Python语言拓展:必须掌握的是cython,提升python计算性能的神器;另外为了封装API用的boost.python,和swig比起来的主要好处是封装完全使用C++语言,同时答主也没有在java

    2.2K51

    让Python猜猜你是否能约会成功

    当新数据需要分类的时候,根据每个样本和原有样本的距离,取最近K个样本点的众数(Y为分类变量)或者均值(Y为连续变量)作为新样本的预测值。实做KNN只需要考虑以下三件事情: 1....数据的前处理 数据的属性有Scale的问题,比如收入和年龄的量纲单位不同,则不能简单的加总来计算距离,需要进行极值的正规化,将输入变量维度的数据都转换到【0,1】之间,这样才能进行距离的计算。...计算公式如下: ? 2. 距离的计算 一般使用欧几里得距离,勾股定理大家都学过,计算两点之间的距离,不多说。 ? 3....# 加载所需包 %matplotlib inline import os import numpy as np from scipy import stats import pandas as pd import...说了这么多,下面我们开始用KNN建模,让机器告诉我们结果吧。 # 选取自变量和因变量 X = orgData.ix[:, :4] Y = orgData[['Dated']] X.head() ?

    85360

    Python数据处理从零开始----第三章(pandas)⑥相关性分析目录

    当两个变量都有正太分布时,很容易计算和解释。而当我们不知道变量的分布时,我们必须使用非参数的秩相关(Rank Correlation,或称为等级相关)方法。...可以使用诸如Pearson相关这样的标准方法来计算每个具有正太分布的两个变量之间的相关性。而秩相关是指使用变量之间序数的关联(而不是特定值)来量化变量之间的关联的方法。...可以为实值变量计算秩相关。这是通过首先将每个变量的值转换为等级数据来完成的。值在这里被排序并指定整数排名值。然后可以计算秩相关系数以量化两个排序变量之间的关联。...Pearson相关性由两个变量中每个变量的方差或分布的标准化的协方差计算。Spearman的秩相关可以在Python中使用SciPy函数spearmanr()计算。...在Python中,Kendall秩相关系数可以使用SciPy函数kendalltau()计算。它将两个数据样本作为参数,并返回相关系数和p值。作为统计假设检验,该方法假设(H0)两个样本之间没有关联。

    2.2K40

    如何用python来做假设检验, 求假设检验、置信区间、效应量

    其中假设检验包括:t检验,w检验,卡方检验,f检验 ,我将会一一在这篇文章中介绍并用python代码来进行对应实操. (话不多说,整起!) 无论是什么检验第一步永远是 设立假设!...ps:一下所有检验均为a=0.05下: 卡方检验 卡方检验是假设检验中的一类方法,用于比较两个分类变量的关联性 但不能表示强弱,基本思想是比较理论频数与实际频数的吻合程度。...俩个分类变量中其中一个必须是二分类不能都是多分类 例:男女对动物的喜爱程度,不同性别下投选候选班长(小米,小王,小李) 等 二分类:男女,不同性别 多分类:动物,候选班长 例题 下面是abi啤酒挑战赛的数据...我们用这段代码来进行分析: 通过得到t值和标准差b来进行公式计算得到置信区间的下界和上节,如图所示:可以得到平均值最大、最小跳动在这个范围里 我们拒绝了原假设则说明我们的统计有差异,差异有多大呢?...接下里我们用代码来计算效应量: d=(data.mean()-20)/data.std() # d=-0.94 即我们与原假设差0.94个标准差!

    2K10

    【收藏】万字解析Scipy的使用技巧!

    func返回将x代入方程组之后得到的每个方程的误差,x0为未知数的一组初始解 from math import sin,cos from scipy import optimize def f(x):...)) [ 0.70622057 -0.6 -2.5 ] [0.0, -8.881784197001252e-16, 0.0] 在对方程组进行求解时,fsolve()会自动计算方程组在某点对各个未知变量的偏导数...如果方程组中的未知数很多,而与每个方程有关联的未知数较少,即雅各比矩阵比较稀疏的时候,将计算雅各比矩阵的函数最为参数传递给fsolve(),这能大幅度提高运算速度 def j(x): x0,x1...1-cdf(t) ppf: 累积分布函数的反函数 stat: 计算随机变量的期望值和方差 fit: 对一组随机取样进行拟合,找出最适合取样数据的概率密度函数的系数 以下是随机概率分布的所有方法: from...,他是计算常微分方程所需的各个变量的初始值 t:表示时间的数组,odeint()对此数组中的每个时间点进行求解,得出所有时间点的位置 args:这些参数直接传递给lorenz,因此他们在整个积分过程中都是常量

    4.1K20

    Scipy使用简介

    func返回将x代入方程组之后得到的每个方程的误差,x0为未知数的一组初始解 from math import sin,cos from scipy import optimize def f(x):...result)) [ 0.70622057 -0.6 -2.5 ] [0.0, -8.881784197001252e-16, 0.0] 在对方程组进行求解时,fsolve()会自动计算方程组在某点对各个未知变量的偏导数...如果方程组中的未知数很多,而与每个方程有关联的未知数较少,即雅各比矩阵比较稀疏的时候,将计算雅各比矩阵的函数最为参数传递给fsolve(),这能大幅度提高运算速度 def j(x): x0,x1...1-cdf(t) ppf: 累积分布函数的反函数 stat: 计算随机变量的期望值和方差 fit: 对一组随机取样进行拟合,找出最适合取样数据的概率密度函数的系数 以下是随机概率分布的所有方法: from...,他是计算常微分方程所需的各个变量的初始值 t:表示时间的数组,odeint()对此数组中的每个时间点进行求解,得出所有时间点的位置 args:这些参数直接传递给lorenz,因此他们在整个积分过程中都是常量

    2.2K20

    机器学习实战 - 读书笔记(08) - 预测数值型数据:回归

    基本概念 回归(regression) - 估算一个依赖变量和其它独立变量的关系。不同于分类的是,它计算的是连续数值,也就是数值型数据。 回归多用于预测。...一个方程式使用独立变量来计算依赖变量。 线性回归(linear regression) : 回归方程是一个多元一次方程,它是由常量乘以每个独立变量,然后再求和的结果。...这个关系是未知的。 寻找这个通用关系有一些困难: 训练数据和目标数据的覆盖度问题。是否能够完全体现了数据关系? 训练数据和目标数据的精确度问题。...局部加权线性回归(Locally Weighted Linear Regression,LWLR) 为了解决线性回归欠拟合的问题,一个思路是:我们用离测试数据比较近的训练数据进行线性回归分析。...http://docs.scipy.org/doc/numpy/reference/generated/numpy.corrcoef.html http://docs.scipy.org/doc/numpy

    1.1K110

    RBF 插值的理论与应用

    径向基函数(Radial Basis Function,RBF)是一个取值仅依赖于到原点距离的实值函数2。在机器学习中,RBF 常被用作支持向量机的核函数。...应用:颜色插值 # 假设空间中存在 n 个已知点的颜色,用 x_i 表示第 i 个已知点,我们希望在给出空间中任意一点 y 的位置时,计算该点的颜色,我们就可以使用 RBF 插值来实现。...显然,这里应该将这 n 个已知点的位置互相进行计算,形成 n 个方程,未知数就是前面提到的 \lambda : 图片 对于这个应用场景而言,我们将 s_i 设为第 i 个观测点的红色通道的颜色值。...= \Phi^{-1} \mathrm{S} 当我们有 m 个点需要求解颜色时,我们就可以将所有点的数据合并为一个矩阵进行计算: 图片 Demo 工程 # 如果上面的公式看着头疼,这里也用 Unity...- SciPy Manual ↩︎

    1.1K60

    面试官让你使用 scipy.fft 进行Fourier Transform,你会吗

    scipy.fft模块 傅立叶变换是许多应用中的重要工具,尤其是在科学计算和数据科学中。因此,SciPy 长期以来一直提供它的实现及其相关转换。...您的计算机可能会显示不同的路径,但只要它打印路径,安装就成功了。 SciPy 现已安装!现在是时候看看scipy.fft和之间的区别了scipy.fftpack。...在前几行中,您导入scipy.fft稍后将使用的函数,并定义一个变量N,用于存储信号中的样本总数。...甲复数是一个数,其具有两个部分,即实部和虚部。定义这样的数字很有用的原因有很多,但您现在需要知道的是它们存在。 数学家通常以a + bi的形式书写复数,其中a是实部,b是虚部。...这意味着他们将一个实值函数作为输入,并产生另一个实值函数作为输出。 SciPy 将这些转换实现为dct()和dst()。的i*和*n变体是逆和Ñ的功能维版本,分别。

    1.2K30

    【机器学习】因微知著,穷数通灵:微积分与机器学习的量化之美

    一、多重积分的基本概念与计算 1.1 多重积分的定义与重要性 多重积分是微积分中的高级概念,用于计算多变量函数在多维空间中的累积量。它是单变量积分的推广,广泛应用于物理学、工程学和机器学习等领域。...2.1.2 偏微分方程(PDE) 偏微分方程涉及多个自变量,且包含未知函数的偏导数。偏微分方程在物理学、工程学和机器学习中有重要应用。...2.2.1 分离变量法 分离变量法适用于可以将方程中的变量分离到方程两边的微分方程。该方法通过变量替换和积分来求解未知函数。...实例: 梯度下降法的连续版本可以用微分方程描述其动态行为。...这些网络的动态行为和学习过程可以用微分方程描述,以提升模型的理解和性能。

    11510
    领券