之前有位读者朋友说有空介绍一下自动分箱的方法，这个确实在我们实际建模过程前是需要解决的一个问题，简单来说就是把连续变量通过分箱的方式转换为类别变量。关于这个话题，我也借着这个主题来系统的梳理总结一下几点：为什么要分箱？不分箱可以入模型吗？自动分箱的常用方法有哪些？评估分箱效果好坏的方法有哪些？ 如果篇幅允许，就顺便把实现的Python代码也分享下，如果太长了就另外起一篇文章来讲。因此，本篇文章主要从下面几个模块来展开说说。
PSI这个指标我们在风控建模前后都是需要密切关注的，这个指标直接反映了模型的稳定性，对于我们评估模型是否需要迭代有着直接的参考意义。今天我将从下面几方面来介绍一下这个指标。
大家好呀！在上一篇我们介绍了3种业界常用的自动最优分箱方法。 1）基于CART算法的连续变量最优分箱 2）基于卡方检验的连续变量最优分箱 3）基于最优KS的连续变量最优分箱 今天这篇文章就来分享一下这3种方法的Python实现。
2. bins, 整数、序列尺度、或间隔索引。如果bins是一个整数，它定义了x宽度范围内的等宽面元数量，但是在这种情况下，x的范围在每个边上被延长1%，以保证包括x的最小值或最大值。如果bin是序列，它定义了允许非均匀bin宽度的bin边缘。在这种情况下没有x的范围的扩展。
很多刚开始建模的同学，对原始变量转WOE都是一知半解，弄不清楚为什么要转WOE，也不清楚要怎么把变量转成WOE。
信用风险计量模型可以包括跟个人信用评级，企业信用评级和国家信用评级。人信用评级有一系列评级模型组成，常见是A卡（申请评分卡）、B卡（行为模型）、C卡（催收模型）和F卡（反欺诈模型）。 今天我们展示的是个人信用评级模型的开发过程，数据采用kaggle上知名的give me some credit数据集。
Python 是一种胶水语言，可以粘很多家伙，例如：Python + 网站开发、Python + 自动化测试、Python + 自动化运维、Python + AI、Python + 数据分析 ... ...
各行各业的打工人，经常会面对一种令人尴尬的质疑：为什么你把15-25归为一类，10-20不行吗？13-23不行吗？
文章链接 | https://zhuanlan.zhihu.com/p/35284849
对于一个程序员来说，一个高效的工具可以胜过一切，更何况是能帮自己代码了。本来是不太想接触国内大模型的，总感觉被各种炒作变了味，但最近偶然间玩了一下文心一言，突然感觉又可以了。之前还是带有一丝丝偏见的，没想到国内的大模型产品现在做得也还不错了。
随着互联网金融时代的到来，信用评分体系显得越发重要，本文就解读信用卡评分体系是如何建立的。
初次接触变量分箱是在做评分卡模型的时候，SAS软件里有一段宏可以直接进行连续变量的最优分箱，但如果搬到Python的话，又如何实现同样或者说类似的操作呢，今天就在这里简单介绍一个办法——卡方分箱算法。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 随着监管政策步入关键落地期，受合规监管标的限额影响，曾备受追捧的大额标的逐渐消失，小额分散的车贷业务成为网贷平台转型的主要方向之一。车贷资产由于进入门槛低、借款额度低、流动性高、限期短等优点，但做好风险防控依然是行业的主要问题之一。 国内某贷款机构就面临了这样的难题，该机构的借款人往往拖欠还款或拒不还款，导致该机构的不良贷款率居高不下。面对如此头疼的问题，该机构将部分贷款数据开放，诚邀大家帮助他们建立风险识别模型来预
在各种机器学习、深度学习模型快速发展的当下，评分卡模型作为一种可解释机器学习模型，仍然在金融、营销等领域被广泛使用。这一模型通过构建一组基于输入变量的评分规则，能够直观地对样本进行评分，非常易于理解和操作。举一个金融信用风险评分卡的例子，要判断一笔贷款能够被按时偿还的风险大小，可以设置这样一个评分卡：
目前，模型开发的流程越来越规范化，通常可以分为业务分析、样本准备、特征工程、模型构建、模型评估及监控这几个步骤。其中，特征工程和模型构建在建模的整个流程中依然非常耗时，并且非常依赖于模型开发者对业务的理解及数据处理的能力。
其中有监督分箱主要包括：卡方分箱和决策树分箱。无监督分箱主要包括：等距分箱、等频分箱和聚类分箱等。
而且将连续变量转化为类别变量后，可以与其他类别变量一起，都直接使用卡方检验或方差分析，写成函数快捷操作也更方便。
数据分箱（也称为离散分箱或分段）是一种数据预处理技术，用于减少次要观察误差的影响，是一种将多个连续值分组为较少数量的“分箱”的方法。
只有把一个语言中的常用函数了如指掌了，才能在处理问题的过程中得心应手，快速地找到最优方案。
平均值是数据分析中常用的方法，是利用特征数据的平均指标来反映业务目前所处的位置和发展水平。平均值虽好，但是它真的可以反应业务的真实形态吗？答案当然是否定的。平均值很容易抹平个体之间的差异，因此很多时候个体暴露的问题很难从平均值中得到体现，所以说平均值并不是最优解。
评分卡开发描述了如何将数据转化为评分卡模型，假设数据准备和初始变量选择过程（过滤）已完成，并且已过滤的训练数据集可用于模型构建过程。 开发过程包含四个主要部分：变量转换，使用逻辑回归的模型训练，模型验证和缩放。
本篇将继续上一篇数据分析之后进行数据挖掘建模预测，这两部分构成了一个简单的完整项目。结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果。
直方图是一个可以快速展示数据概率分布的工具，直观易于理解，并深受数据爱好者的喜爱。大家平时可能见到最多就是 matplotlib，seaborn 等高级封装的库包，类似以下这样的绘图。
导读：数据清洗是数据分析的必备环节，在进行分析过程中，会有很多不符合分析要求的数据，例如重复、错误、缺失、异常类数据。
今天还是讲一下金融风控的相关知识，上一次我们有讲到，如果我们需要计算变量的IV值，从而判断变量的预测能力强弱，是需要对变量进行离散化的，也就是分箱处理。那么，今天就来给大家解释一下其中一种分箱方式 —— 卡方分箱处理。
大数据时代的到来，使得很多工作都需要进行数据挖掘，从而发现更多有利的规律，或规避风险，或发现商业价值。
使用工具: python、pandas、numpy、matplotlib、seaborn、sklearn库
在风控建模中IV(信息价值)和WOE(证据权重)分别是变量筛选和变量转换中不可缺少的部分。
之前的文章已经阐述了逻辑回归和sigmod函数的由来、逻辑回归(logistics regression)原理-让你彻底读懂逻辑回归、评分卡原理及Python实现。
百分位数，如果将一组数据从小到大排序，并计算相应的累计百分位，则某一百分位所对应数据的值就称为这一百分位的百分位数。可表示为：一组n个观测值按数值大小排列。如，处于p%位置的值称第p百分位数。
在风控中，风险意味着不确定性，不确定性越强意味着越不可控，做数据化风控也是同理，追求的就是让确定性越来越强，转换成统计概率论来说就是不断提高我们的胜算的概率。当然，没有任何人可以做到100%的确定，因为没有人是上帝视角，所以在风控决策过程中总会产生错杀或者误放。
首先，需要确定变量之间是否存在共线性，若存在高度相关性，只需保存最稳定、预测能力最高的那个。需要通过 VIF(variance inflation factor）也就是 方差膨胀因子进行检验。 变量分为连续变量和分类变量。在评分卡建模中，变量分箱（binning）是对连续变量离散化（discretization）的一种称呼。要将logistic模型转换为标准评分卡的形式，这一环节是必须完成的。信用评分卡开发中一般有常用的等距分段、等深分段、最优分段。
来源：DeepHub IMBA本文约1500字，建议阅读5分钟我们将讨论使用 python Pandas 库对数值进行分箱的 4 种方法。 分箱是一种常见的数据预处理技术有时也被称为分桶或离散化，他可用于将连续数据的间隔分组到“箱”或“桶”中。在本文中，我们将讨论使用 python Pandas 库对数值进行分箱的 4 种方法。 我们创建以下合成数据用于演示 import pandas as pd # version 1.3.5import numpy as npdef create_df():df
其中A、B是正常数，在风控中一般分数越高信用越好风险越低。所以B前面取负号，让违约的概率越高分数越低。
我们将从以下几个方面为大家介绍我们的项目，首先第一部分是需求分析，然后是数据提取及处理，接着样本定义与分布、特征粗筛与模型选择、特征精筛与评分卡建模、TOAD评分卡构建及决策建议。
本文以天池的金融风控赛为背景，梳理了金融风控的整个实践流程，帮助大家避坑学习。赛事的场景是个人信贷，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这个问题在现实的风控场景中很常见，属于典型的分类问题。另外，准入模型，评分卡模型皆是属于这个范畴。
在python 较新的版本中，pandas.qcut()这个函数中是有duplicates这个参数的，它能解决在等频分箱中遇到的重复值过多引起报错的问题；
题图摄于广州花城广场 在中国开源软件推进联盟发布的《2022中国开源发展白皮书》中，提到开源框架正在成为降低企业技术研发成本，打破“计算孤岛”，实现跨平台互联互通，推动数据要素流通重要且有效的途径。FATE (Federated AI Technology Enabler）是其中典型代表，作为全球首个联邦学习工业级开源框架，它提供一种基于数据隐私保护的安全计算框架，为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。 早在今年8月，FATE已经作为最新孵化级项目加入了LF AI & Data基金会
在当代，金融机构在风险管理的每个环节都尽可能地引入计量分析方法，依托大数据进行后台的分析回顾，不断的优化调整，使得金融机构在风险与收益的博弈过程中更快达到平衡，实现局部甚至更多空间的利润最大化。
关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~
这是一个excel学习中很经典的案例，先构造评级参数表，然后直接用lookup匹配就可以了，具体不在这讲了，今天讲一下用python怎么实现该功能，总共五种(三大类：映射+numpy+pandas分箱)方法，提前预告下，最后一种数据分箱是与excel 中的 lookup最像的
第一次接触这两个名词是在做风控模型的时候，老师教我们可以用IV去做变量筛选，IV（Information Value），中文名是信息值，简单来说这个指标的作用就是来衡量变量的预测能力强弱的，然后IV又是WOE算出来的。姑且先不管原理哈，我们先给出来一下结论。
简单的直方图可能是理解数据集的第一步。之前，我们预览了 Matplotlib 直方图函数（参见“比较，掩码和布尔逻辑”），一旦执行了常规的导入，它在一行中创建一个基本直方图：
在银行借贷场景中，评分卡是一种以分数形式来衡量一个客户的信用风险大小的手段，它衡量向别人借钱的人（受信人，需要融资的公司）不能如期履行合同中的还本付息责任，并让借钱给别人的人（授信人，银行等金融机构）， 造成经济损失的可能性。一般来说，评分卡打出的分数越高，客户的信用越好，风险越小。
「风控ML」系列文章，主要是分享一下自己多年以来做金融风控的一些事一些情，当然也包括风控建模、机器学习、大数据风控等相关技术分享，欢迎同行交流与新同学的加入，共同学习，进步！
随着互联网在传统金融和电子商务领域的不断渗透，风控+互联网的融合也对传统的风控提出了新的要求和挑战。以评分卡为例，互联网形态下的评分卡需要面临更多维数据、更实时数据、更异常数据的挑战。因此，懂得互联网业务下的风控评分卡已经成为互联网风控从业人员的新要求。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
