python 分箱 - 腾讯云开发者社区

文章/答案/技术大牛

发布

评分卡应用 - 利用Toad进行有监督分箱（卡方分箱决策树分箱）

4 toad分箱 4.1 卡方分箱 4.2 决策树分箱 4.3 toad调用函数 5 观察分箱并调整 6 WOE转化 7 用gbdt编码，用于gbdt + lr建模的前置 8 一个完整的code示例...4.1 卡方分箱参考：【数据建模特征分箱】特征分箱的方法有监督的卡方分箱法(ChiMerge) 自底向上的(即基于合并的)数据离散化方法。...4.2 决策树分箱数据处理实战： Chimerge和决策树分箱不同于Chimerge的自下而上, 决策树是自顶向下划分的, 但两者都是监督式分箱方法, 即都需要使用到标签变量。...由于分箱时使用了类信息，因此区间的边界更有可能定义在有帮助于提高分类准确率的地方。 4.3 toad调用函数 toad的分箱功能支持数值型数据和离散型分箱，默认分箱方法使用卡方分箱。...，支持’chi’ (卡方分箱), ‘dt’ (决策树分箱), ‘kmean’ , ‘quantile’ (等频分箱), ‘step’ (等步长分箱) min_samples: 每箱至少包含样本量，可以是数字或者占比

4K2 0

K-means分箱

首先，最简单的是等距分箱、等频分箱以及自定义分箱。所谓等距分箱，就是隔着同样的距离把整体切分。比如将薪酬按照1000-2000、2000-3000、3000-4000这样每隔1000分一段。...对于有些情况，自定义分箱是个不错的选择，有时候自定义分箱，也可以在其他分箱的基础上，来补充一些数据上无法体现的东西。...当然也有用各种各样有监督的无监督的手段来分箱的，都可以进行尝试。但今天我们要说的是一个纯粹根据数据分布规律进行分箱的策略——K-means分箱。...大部分数据分析软件都有K-means现成的包，笔者认为相比于python和R， Matlab在数据处理上总是更胜一筹，最后也会给大家分享案例实现的代码。...那么我们用W-K分箱（加权kmeans，在kmeans分箱的基础上附上套数作为权重），就可以得到结果如下 W-K分箱方差占比 [69-72） 0.67 12% [79-82） 0.67 22% [89

7983 0

您找到你想要的搜索结果了吗？

是的

没有找到

Machine Learning-特征工程之卡方分箱（Python）

初次接触变量分箱是在做评分卡模型的时候，SAS软件里有一段宏可以直接进行连续变量的最优分箱，但如果搬到Python的话，又如何实现同样或者说类似的操作呢，今天就在这里简单介绍一个办法——卡方分箱算法。...五、ChiMerge分箱算法 ChiMerge卡方分箱算法由Kerber于1992提出。它主要包括两个阶段：初始化阶段和自底向上的合并阶段。...六、Python代码实现 1.导入相关库 import numpy as np from scipy.stats import chi2 import pandas as pd from pandas...np.log(gbri[1]/gbri[0]) gbri['iv'] = (gbri[1] - gbri[0])*gbri['woe'] return gbri['iv'].sum() 七、Python...评分卡建模—卡方分箱（1） 2.Python评分卡建模—卡方分箱（2）之代码实现 3.python评分卡建模—实现WOE编码及IV值计算（以上文章均来自“风控建模”公众号，作者为东东&Monica）

6.1K2 0

盘一盘 Python 特别篇 21 - 分箱之 qcut

当处理连续数值型数据时，将其分箱 (binarize) 成几个组对之后的数据分析是很有用的。本贴介绍的 qcut 就能做到这件事情。

1.1K1 0

ggpol优雅绘制半分箱线图

), 150, replace = TRUE), genotype = factor(sample(1:3, 150, replace = TRUE))) 绘制半分箱线图

2043 0

盘一盘 Python 特别篇 22 - 分箱之 cut

当要给连续数值型数据分箱成几个组，我们可以使用上贴介绍的 qcut 函数，也可以使用本贴介绍的 cut 函数。

1K2 0

3种特征分箱方法

离散化的过程中连续型变量重新进行了编码，本文主要介绍是3种常见的特征分箱方法：分箱特点连续型变量执行离散化的分箱操作，能够更加简洁地呈现数据信息消除特征变量的量纲影响，因为分箱之后都是类别数，例如...，默认是5个 strategy 指定不同的分箱策略strategy：KBinsDiscretizer类实现了不同的分箱策略，可以通过参数strategy进行选择：等宽：uniform 策略使用固定宽度的...所谓的等宽分箱就是将数据分成等宽的几份，比如模拟数据中INCOME的范围是0-150。...8]: dis.n_bins Out[8]: 3 等频分箱等频分箱指的是每个区间内包含的取值个数是相同的，和等宽分箱的区别：等频分箱：每个区间内包括的值一样多，pd.qcut 等宽分箱：每两区间之间的距离是一样的...，pd.cut 在实施等频分箱之前，我们需要先对数据进行升序排列，然后取中间值进行分箱 In [9]: # 1、先排序 sort_df = sorted(df["INCOME"]) sort_df Out

6783 0

从论文分析，告诉你什么叫 “卡方分箱”？

前些日子，星球里讨论风控建模面试中的一些问题，其中就提到了 “卡方分箱”。大家对卡方分箱都有或多或少的疑问，应星球朋友要求，最近整理了一下我对卡方分箱的理解，也借此分享给公众号的朋友们。...为什么要分箱？分箱的好处还是很多的，尤其是使用逻辑回归的评分卡建模中，分箱woe也是一种标配。...分箱的方法有很多，卡方分箱属于其中一种，属于有监督系列的。卡方分箱正是一种基于卡方检验的分箱方法，更具地说是基于上面提到的第二种应用，独立性检验，来实现核心分箱功能的。...当然，我们一般会设置一些停止条件：卡方停止的阈值分箱数目的限制意思就是说，只要当所有分箱对的卡方值都大于阈值，并且分箱数目小于最大分箱数时，计算就会继续，直到不满足。...对于卡方分箱的实现有一些特殊情况需要注意，比如初始分箱中每个分箱中的数量，以及是否有全是同一类别的分箱出现等等。不过，如果掌握了上面的核心原理和计算部分，这些特殊情况都可迎刃而解。

8.4K3 0

binning分箱

Binning，简称为分箱，更确切的说是 strain-level clusters 或 strain-level taxonomic units），本质是采用聚类的方法将分析对象进行归类，得到不同的集合

1.1K2 0

数据分箱技术之qcut

步入正题今天说说Python分析包中 qcut 这个API. 它的作用是根据值的频率来决定箱子的间隔，尽可能地满足样本在每个箱子的数量相等。...qcut的函数原型与cut差不多，参考cut: 数据分箱技术在Python中实现-cut 系列第8篇原创。有帮助，点好看。

1.1K3 0

机器学习（十六）特征工程之数据分箱

1 分箱简介数据分箱（也称为离散分箱或分段）是一种数据预处理技术，用于减少次要观察误差的影响，是一种将多个连续值分组为较少数量的“分箱”的方法。...分箱后的数据分箱的数据不一定必须是数字，它们可以是任何类型的值，如“狗”，“猫”，“仓鼠”等。分箱也用于图像处理，通过将相邻像素组合成单个像素，它可用于减少数据量。 ?...3、对于类别型变量,需要分箱时需要按照某种方式进行排序。最小熵法分箱 ?...】特征分箱的方法 - 简书【有监督分箱】方法一：卡方分箱 - hxcaifly的博客 - CSDN博客 Python数据分箱，计算woe，iv - 知乎数据分级 - 维基百科 Numerical &...Scientific Computing with Python: Binning Data with Python and with Pandas binning data in python with

13.4K4 2

数据分箱技术Binning

数据分箱技术Binning 数据分箱就是按照某种规则将数据进行分类。就像可以将水果按照大小进行分类，售卖不同的价格一样。...对Series进行分箱创建一个整形随机的series，表示学生的成绩： import numpy as np import pandas as pd from pandas import Series...然后指定一个分箱原则 bins = [0,59,70,80,100] 12 bins = [0,59,70,80,100] 然后利用pandas中的cut方法，指定分箱规则和对象，结果将获得一个Categories...对Dataframe分箱创建一个包含学生分数和姓名的dataframe： df = DataFrame() df['score'] = score_list df['student'] = [pd.util.testing.rands...然后使用前面的bins标准对df1进行分箱，得到一个Categories对象： df['Categories'] = pd.cut(df['score'],bins) 12 df['Categories

1.4K2 0

数据分析01-数据分箱

在数仓或数据分析常用以下三种”分箱”方式 1.基于规则的分箱基于规则的分箱是一种数据预处理方法，它根据预先定义的规则或标准将数据点分配到不同的箱子（或区间）中。...以下是基于规则分箱的一些关键特点和步骤：特点： 1.自定义规则：分箱的规则是根据业务需求、数据分析目标或领域专家的建议来定义的。这些规则可以是简单的阈值，也可以是复杂的逻辑表达式。...2.灵活性：基于规则的分箱允许用户根据实际情况灵活地设计分箱逻辑，这在处理具有特定业务含义的数据时非常有用。...等距分箱是一种将连续数值数据分布到固定数量的等间隔区间的方法。...等频分箱是将数据集划分为具有相同数量的区间或“箱子”。

1.1K1 0

数据分箱技术在Python中实现

共888字，阅读时间3分钟点击上方蓝色字体关注公众号 1 数据分箱数据分箱技术在Pandas官方给出的定义：Bin values into discrete intervals，是指将值划分到离散区间...参数含义如下： x：被切分的类数组数据，注意必须是1维； bins：简单理解为分箱规则，就是桶。

3.1K2 0

3种连续变量分箱方法的代码分享

在上一篇我们介绍了3种业界常用的自动最优分箱方法。...1）基于CART算法的连续变量最优分箱 2）基于卡方检验的连续变量最优分箱 3）基于最优KS的连续变量最优分箱今天这篇文章就来分享一下这3种方法的Python实现。...00 Index 01 测试数据与评估方法准备 02 基于CART算法的最优分箱代码实现 03 基于卡方检验的最优分箱代码实现 04 基于最优KS的最优分箱代码实现 05 测试效果与小节 01 测试数据与评估方法准备...target: String，Y列名称 min_sample: int，分箱的最小数据样本，也就是数据量至少达到多少才需要去分箱，一般作用在开头或者结尾处的分箱点...Python实现了一下，马上来测试下效果吧。

1.6K3 0

风控建模中的自动分箱的方法有哪些

关于这个话题，我也借着这个主题来系统的梳理总结一下几点：为什么要分箱？不分箱可以入模型吗？自动分箱的常用方法有哪些？评估分箱效果好坏的方法有哪些？...如果篇幅允许，就顺便把实现的Python代码也分享下，如果太长了就另外起一篇文章来讲。因此，本篇文章主要从下面几个模块来展开说说。...00 Index 01 分箱是什么意思，为什么要分箱，什么时候分箱？ 02 常见的自动分箱方法有哪些？...03 如何评估分箱效果的好坏 04 设计一个基于风控建模的自动分箱轮子 01 分箱是什么意思，为什么要分箱，什么时候分箱？分箱的意思就是将连续性变量通过几个划分点，分割成几段的过程。...02 常见的自动最优分箱方法有哪些？在介绍了分箱的好处以及应用的场景后，我们需要知道一些方法去进行分箱，最直观的自动分箱方法就是等频和等距分箱，不过这类过于简单理论的方法，往往效果并不是特别地好。

3K3 1

Pandas基础：使用Cut方法进行数据分箱（Binning Data）

标签：pandas，cut方法有时候，我们需要执行数据分箱操作，而pandas提供了一个方便的方法cut可以实现。在下面的简单数据集中，有一组100人，他们的年龄和净值以美元计。...图1 现在，让我们创建年龄数据分箱，即年龄段。...再次数据分箱将为所有记录创建年龄段，如下所示。...注意，标签的长度必须等于分箱的数量。

4K2 0

Pandas 对数值进行分箱操作的 4 种方法

分箱是一种常见的数据预处理技术有时也被称为分桶或离散化，他可用于将连续数据的间隔分组到“箱”或“桶”中。在本文中，我们将讨论使用 python Pandas 库对数值进行分箱的 4 种方法。...cut的参数如下： x：要分箱的数组。必须是一维的。 bins：标量序列：定义允许非均匀宽度的 bin 边缘。 labels：指定返回的 bin 的标签。必须与上面的 bins 参数长度相同。...示例中有 1000 名学生，因此每个分箱应该有大约 333 名学生。 qcut参数： x：要分箱的输入数组。必须是一维的。 q：分位数。10 表示十分位数，4 表示四分位数等。...总结在本文中，介绍了如何使用 .between、.cut、.qcut 和 .value_counts 对连续值进行分箱。

1.6K2 0

【数据分析可视化】数据分箱技术Binning

分箱：抽象理解为苹果根据大小不同分级分箱 import numpy as np import pandas as pd from pandas import Series,DataFrame # 模拟成绩分箱...37, 86, 44, 82, 49, 91, 49, 82, 53, 89, 47, 56, 38, 86]) # 成绩评级分段 bins = [0,59,70,80,100] # 分箱...100]] Length: 20 Categories (4, interval[int64]): [(0, 59] < (59, 70] < (70, 80] < (80, 100]] # 每一个分箱多少人

1.2K2 0

数据科学 IPython 笔记本 8.8 直方图，分箱和密度

8.8 直方图，分箱和密度原文：Histograms, Binnings, and Density 译者：飞龙协议：CC BY-NC-SA 4.0 本节是《Python 数据科学手册》（Python...函数是可用的： counts, bin_edges = np.histogram(data, bins=5) print(counts) # [ 12 190 468 301 29] 二维直方图和分箱...30, cmap='Blues') cb = plt.colorbar() cb.set_label('counts in bin') 就像plt.hist一样，plt.hist2d有许多微调绘图和分箱的额外选项来...np.histogram2d中也存在对应，可以按如下方式使用： counts, xedges, yedges = np.histogram2d(x, y, bins=30) 对于维度大于 2 的直方图分箱的推广...plt.hexbin：六边形分箱二维直方图创建了横跨坐标轴的正方形细分。这种细分的另一种自然形状是正六边形。

6492 0

点击加载更多

交个朋友

加入腾讯云技术交流站

洞悉AI新动向 Get大咖技术交流群

加入云原生工作实战群

云原生落地实践技术难题攻坚探讨

加入HAI高性能应用服务器交流群

探索HAI应用新境界共享实践心得