数据分箱技术在Pandas官方给出的定义：Bin values into discrete intervals，是指将值划分到离散区间。好比不同大小的苹果归类到几个事先布置的箱子中；不同年龄的人划分到几个年龄段中。
对于某些机器学习算法来说，像决策树、随机森林、朴素贝叶斯。他们的数据集大多数都是针对的离散型数据。因此做出有效的数据离散化，对于降低计算复杂度和提高算法准确率有很重要的影响。
import numpy as np import pandas as pd from pandas import Series, DataFrame score_list = np.random.randint(25, 100, size=20)
本贴继续使用上贴的数据，回顾一下是 2018 年的销售数据。接下来用 info(), head(), tail() 几个函数来看看数据集的大小、行标签和列标签。
分箱：抽象理解为苹果根据大小不同分级分箱 import numpy as np import pandas as pd from pandas import Series,DataFrame # 模拟成绩分箱 score_list = np.random.randint(35, 100, size=20) score_list array([93, 35, 83, 44, 56, 62, 37, 86, 44, 82, 49, 91, 49, 82, 53, 89, 47, 56, 38,
这是一个excel学习中很经典的案例，先构造评级参数表，然后直接用lookup匹配就可以了，具体不在这讲了，今天讲一下用python怎么实现该功能，总共五种(三大类：映射+numpy+pandas分箱)方法，提前预告下，最后一种数据分箱是与excel 中的 lookup最像的
有时候，我们需要执行数据分箱操作，而pandas提供了一个方便的方法cut可以实现。
重命名轴索引可以在不生成新的数据的情况下修改轴，一个有用的方法是rename，示例如下：
只有把一个语言中的常用函数了如指掌了，才能在处理问题的过程中得心应手，快速地找到最优方案。
Series 与 DataFrame 支持大量计算描述性统计的方法与操作。这些方法大部分都是 sum()、mean()、quantile() 等聚合函数，其输出结果比原始数据集小；此外，还有输出结果与原始数据集同样大小的 cumsum() 、 cumprod() 等函数。这些方法都基本上都接受 axis 参数，如， ndarray.{sum,std,…}，但这里的 axis 可以用名称或整数指定：
快速阅读 思维导图 常用统计量 python实现 思维导图 常用统计量 描述型统计学常用统计量与数学符号 python实现 1、基本统计量的python实现 #导入包 import pandas as pd import numpy as np from scipy import stats import math """ Scipy是一个高级的科学计算库，Scipy一般都是操控Numpy数组来进行科学计算， Scipy包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶
总第98篇 信用卡“坏账”客户分析(二)终于来了，本篇主要针对信用卡客户进行建模，建立评分卡，给每个客户进行打分，通过该客户的得分来判断该客户的“好坏”。 传送门：信用卡“坏账”客户分析（一） 前言 前面的推文《信用卡坏账客户分析》对一些[坏账客户]做了一些基本的描述性分析，这篇将针对所有的信用卡用户建立一个评分标准，即评分卡，类似于芝麻信用分一样，用来评判用户的履约能力和违约风险。 一些数据预处理以及描述性分析，在前文中已经写过，本篇不再赘述，直接进入评分卡建立阶段。 特征选择 1.共线性检测 共线
在 Pandas数据结构详解 | 轻松玩转Pandas（1） 介绍了 Pandas 中常用的两种数据结构 Series 以及 DataFrame，这里来看下这些数据结构都有哪些常用的功能。 # 导入相关库 import numpy as np import pandas as pd 常用的基本功能 当我们构建好了 Series 和 DataFrame 之后，我们会经常使用哪些功能呢？来跟我看看吧。引用上一章节中的场景，我们有一些用户的的信息，并将它们存储到了 DataFrame 中。 因为大多数
若环境因子已知，可通过dniche和ps.bin计算bin内部的系统发育信号，进而选择合适的nmin。 若环境因子未知，可用其他方法如pNST先计算随机性。再通过icamp通过改变nmin得到近似的随机性从而选定nmin。
RFM（Recency Frequency Monetary）模型是衡量客户价值和客户创利能力的重要工具和手段。在众多的客户关系管理(CRM)的分析模式中，RFM模型是被广泛提到的。
在 Pandas数据结构详解 | 轻松玩转Pandas（1） 介绍了 Pandas 中常用的两种数据结构 Series 以及 DataFrame，这里来看下这些数据结构都有哪些常用的功能。
PSI这个指标我们在风控建模前后都是需要密切关注的，这个指标直接反映了模型的稳定性，对于我们评估模型是否需要迭代有着直接的参考意义。今天我将从下面几方面来介绍一下这个指标。
说明：参数degree代表次数，默认为2。当输入为两个特征时，输出结果会对两个特征进行组合，结果特征的次数小于等于2。比如输入为特征[a,b] [a,b][a,b]，则输出为[1,a,b,a2,ab,b2] [1,a,b,a^2, ab,b^2][1,a,b,a^2 ,ab,b^2 ]
本文是【统计师的Python日记】第7天的日记 回顾一下： 第1天学习了Python的基本页面、操作，以及几种主要的容器类型。 第2天学习了python的函数、循环和条件、类。 第3天了解了Numpy这个工具库。 第4、5两天掌握了Pandas这个库的基本用法。 第6天学习了数据的合并堆叠。 原文复习（点击查看）： 第1天：谁来给我讲讲Python？ 第2天：再接着介绍一下Python呗 【第3天：Numpy你好】 【第4天：欢迎光临Pandas】 【第四天的补充】 【第5天：Pandas，露两手】 【
「风控ML」系列文章，主要是分享一下自己多年以来做金融风控的一些事一些情，当然也包括风控建模、机器学习、大数据风控等相关技术分享，欢迎同行交流与新同学的加入，共同学习，进步！
导读：数据清洗是数据分析的必备环节，在进行分析过程中，会有很多不符合分析要求的数据，例如重复、错误、缺失、异常类数据。
今天是读《python数据分析基础》的第18天，读书笔记的内容是使用pandas进行数据清洗以及探索 由于原始数据在某种程度上是“脏”的，原始数据并不能完全使用于分析。因此，需要为其进行清洗。而为了解数据的大致情况，则需要进行数据探索。 以下是进行简单的数据清洗以及探索的代码： 注：数据来源于https://github.com/cbrownley/foundations-for-analytics-with-python/tree/master/statistics/churn.csv #数据探
#成绩分段处理 import pandas as pd import os file = os.listdir('c:\\t\\') da = pd.DataFrame() for name in file: listbins= [i for i in range(350,650,10)] df = pd.read_excel('c:\\t\\'+str(name),skiprows=1,usecols=[2,3,4,9,11,13,15]) xm = list(set(df.学
来源：DeepHub IMBA本文约1500字，建议阅读5分钟我们将讨论使用 python Pandas 库对数值进行分箱的 4 种方法。 分箱是一种常见的数据预处理技术有时也被称为分桶或离散化，他可用于将连续数据的间隔分组到“箱”或“桶”中。在本文中，我们将讨论使用 python Pandas 库对数值进行分箱的 4 种方法。 我们创建以下合成数据用于演示 import pandas as pd # version 1.3.5import numpy as npdef create_df():df
以上就是python数据变换的实现，希望对大家有所帮助。更多Python学习指路：python基础教程
如果我们想确定两个独立分类数据组的统计显着性，会发生什么？这是卡方检验独立性有用的地方。
分箱是一种常见的数据预处理技术有时也被称为分桶或离散化，他可用于将连续数据的间隔分组到“箱”或“桶”中。在本文中，我们将讨论使用 python Pandas 库对数值进行分箱的 4 种方法。
在sql中如何计算基尼系数，可以查看我的另一篇文章。两篇文章取数相同，可以结合去看。
分类数据(categorical data)是按照现象的某种属性对其进行分类或分组而得到的反映事物类型的数据，又称定类数据。直白来说，就是取值为有限的，或者说是固定数量的可能值。例如：性别、血型等。
第一次接触这两个名词是在做风控模型的时候，老师教我们可以用IV去做变量筛选，IV（Information Value），中文名是信息值，简单来说这个指标的作用就是来衡量变量的预测能力强弱的，然后IV又是WOE算出来的。姑且先不管原理哈，我们先给出来一下结论。
Excel 中的 vlookup 函数有一个模糊查找选项，其内在原理为二分法查找，在 pandas 中同样有一样功能的方法。
大家好呀！在上一篇我们介绍了3种业界常用的自动最优分箱方法。 1）基于CART算法的连续变量最优分箱 2）基于卡方检验的连续变量最优分箱 3）基于最优KS的连续变量最优分箱 今天这篇文章就来分享一下这3种方法的Python实现。
算法：归一化和离散化是前者将逐个样本缩放成单位范数，后者分割连续变量为若干个离散值。
https://colab.research.google.com/drive/1yWTl2OzOnxG0jCdmeIN8nV1MoX3KQQ_1%3Fusp%3Dsharing
今天这篇介绍数据类型中因子变量的运用在R语言和Python中的实现。 因子变量是数据结构中用于描述分类事物的一类重要变量。其在现实生活中对应着大量具有实际意义的分类事物。 比如年龄段、性别、职位、爱好，星座等。 之所以给其单独列出一个篇幅进行讲解，除了其在数据结构中的特殊地位之外，在数据可视化和数据分析与建模过程中，因子变量往往也承担中描述某一事物重要维度特征的作用，其意义非同寻常，无论是在数据处理过程中还是后期的分析与建模，都不容忽视。 通常意义上，按照其所描述的维度实际意义，因子变量一般又可细分为无序因
最近有朋友在问怎么做用户分群，刚好看到有个RFM客户价值模型，就移过来用python简单演示一下，感觉还是有一定的作用的。
北京积分落户制度已经实行两年了，2018年申报积分落户的124657名申请人中6019位落户人员取得落户资格。
本文的Pandas知识点包括： 1、合并数据集 2、重塑和轴向旋转 3、数据转换 4、数据聚合 1、合并数据集 Pandas中合并数据集有多种方式，这里我们来逐一介绍 1.1 数据库风格合并 数据库风格的合并指根据索引或某一列的值是否相等进行合并的方式，在pandas中，这种合并使用merge以及join函数实现。 先来看下面的例子： df1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1':range(7)}) df2 = pd.Dat
2. bins, 整数、序列尺度、或间隔索引。如果bins是一个整数，它定义了x宽度范围内的等宽面元数量，但是在这种情况下，x的范围在每个边上被延长1%，以保证包括x的最小值或最大值。如果bin是序列，它定义了允许非均匀bin宽度的bin边缘。在这种情况下没有x的范围的扩展。
导读：北京积分落户制度已经实行两年了，2018年申报积分落户的124657名申请人中6019位落户人员取得落户资格。
在风控建模中IV(信息价值)和WOE(证据权重)分别是变量筛选和变量转换中不可缺少的部分。
> 经常听别人说 Python 在数据领域有多厉害，结果学了很长时间，连数据处理都麻烦得要死。后来才发现，原来不是 Python 数据处理厉害，而是他有数据分析神器—— pandas
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
