首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

建模整体流程

确定建模目的 在信贷领域中建立模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。...确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防的风险决定...特征工程 在领域一直都有这样一句话 “数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。...模型上线 在支付领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。...模型更迭 一般半年左右,模型需要更迭,具体看数据的偏斜程度。 本文所讲的都是大致流程,没有深入展开分析,在之后的各期中会逐步展开这里所讲的每一小点,给所有需要从事模型的同学一点建议。

2K20

2017年数据报告

二是通过大数据、云计算等手段,在风险防范、风险管方面实现了线上化和批量化。 其中,大数据技术解决了消费金融乃至小微金融领域的效率瓶颈。...目前,有能力推动大数据的主要为国有大行、股份制银行等大型银行,以及部分城商行等。互联网巨头、三运营商等由于掌握了庞大的个人数据,也开始加入到这一市场中来。...从国内金融机构应用大数据的情况看,主要将大数据应用在客户画像领域,包括风险管、运营优化、业务创新、优化营销策略等。...“白名单”主动预授信 在消费金融中,银行、互联网金融等机构开始采用前置的白名单邀请制,商业银行将主动授信用于实际业务,这是对以往被动授信模式的颠覆。...就国内商业银行而言,将风险评分等技术手段引入信用贷款模型,是一些银行信用贷款业务爆发、不良下降的核心原因。

1.9K00
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    金融评分卡建模全流程

    作者:桔了个仔,南洋理工大学,数据科学家 知乎丨https://zhuanlan.zhihu.com/p/148102950 本文摘要 本文将带领读者一起进行完整的建模全流程,了解银行风是如何做的...一、评分卡的分类 在金融领域,无人不晓的应该是评分卡(scorecard), 无论信用卡还是贷款,都有”前中后“三个阶段。...根据时间点的”前中后”,一般评分卡可以分为下面三类: A卡(Application score card)。目的在于预测申请时(申请信用卡、申请贷款)对申请人进行量化评估。...评分卡种类 美国fico公司算是评分卡的始祖,始于 20世纪六十年代。Fico的评分卡的示例如下(这是个贷前评分卡,也就是A卡): ?...我们用的数据是每个搞的人都熟悉的“Give Me Some Credit"数据集。本节会按照列出的六个步骤带你领略评分卡实际构建过程。 数据集地址:https://link.zhihu.com/?

    9.2K61

    数据体系-简介

    早期传统金融的主要利用了信用属性强大的金融数据,一般采用20个维度左右的数据,利用评分来识别客户的还款能力和还款意愿。...结合中国互联网发展,以及目前的征信监管要求,对可用数据及可用数据做一个全面的梳理。...2.数据来源 2.1 数据应用逻辑 常见流程中,客户准入时提供的资信材料有限,业务机构数据体量不足,仅仅根据内部风险数据进行风险评估会非常片面,无法全面的把某位客户的风险情况,所以通常需要依赖于第三方供应商提供数据作风支撑...2.1.3 制定流程 注册信息提交;生物信息识别;准入规则判定;身份信息验证;三方数据核验;授信定额定价;用户确认提现;贷中行为监测;额度利息管理;贷后催收管理等。...4.2 明确需求 建议:回顾第二节数据应用逻辑关于业务类型、风险类型、流程、风险画像等的介绍。

    4.1K65

    ML | 建模的KS

    我们这做模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。...不过这不影响我们去使用它,我们只需要知道在中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在主要是用于评估模型的好坏样本区分度高低的。什么是区分度?...可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的策略使用体验上十分友好。...02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算...03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在领域并不是越大越好,到底KS值与模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

    4.6K30

    中的大数据

    的意义 何为?字面含义就是对于风险的控制从而使财务不受到损失。对于任何一家金融机构(包括银行,小贷,P2P等)来说,的重要性超过流量、体验、品牌这些人们熟悉的指标。...做得好与坏直接决定了一家公司的生与死,而且其试错成本是无穷的,往往一旦发现出了问题的时候就已经无法挽回了。截止到2015年底,全国总共3000多家P2P平台里超过三分之一已经倒闭。...国际上传统的方法 的核心是要准确预测每一笔借款违约概率。显而易见,这需要量化的工具,也就是模型。...国内很多银行的流程和系统是从国外采购,很多风高管也是直接从国外银行引进的。 然而与国外相比,中国最大的差异在于征信体系的不完善。...大数据的挑战 伴随着机遇同样也有挑战。就像要有美味的菜肴,我们既需要好的材料,也需要好的厨师,当前大数据中运用的挑战主要还是在数据和人才这两方面。

    1.5K120

    金融科技&大数据产品推荐: 数美金融—构建立体的全业务流程体系

    数美依托强大的AI技术与海量基础数据,为金融机构提供覆盖全业务流程的完整风解决方案。...的产品投递 1、产品名称 数美全业务流程体系 2、所属分类 金融科技 · 、反欺诈 3、产品介绍 数美依托强大的AI技术与海量基础数据,为金融机构提供覆盖全业务流程的完整风解决方案。...信贷云也提供了一个可视化的规则引擎,该规则引擎集成数美所有的数据,并支持客户自定义的数据。客户可以利用这些数据,在web控制台灵活地配置各种规则策略。...作为反欺诈领域专业品牌,数美经过2年的实践与积累,构建了立体的全业务流程体系,可有效帮助金融机构进行反欺诈与。...并将多维度、多模型的组合打法贯穿业务流程始终,做到与反欺诈的高召回、低误杀。

    2.6K30

    ML | 建模的WOE与IV

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!...第一次接触这两个名词是在做模型的时候,老师教我们可以用IV去做变量筛选,IV(Information Value),中文名是信息值,简单来说这个指标的作用就是来衡量变量的预测能力强弱的,然后IV又是...data_bad) len_good = len(data_good) for value in value_list: # 判断是否某类是否为0,避免出现无穷小值和无穷值...测试数据集可以后台回复 'age' 进行获取。...,不过得注意一些细节,转换数据格式。‍

    3.6K20

    信贷模型搭建及核心模式分类

    目前,对于信贷审核来说主要基于的模式为IPC、信贷工厂、大数据三种,每一种都有自己不同的侧重点。...在我们清洗数据的时候,看到对客户信用评价中有这么一类“少量逾期”,这个类别占了相当的比重,而且在模型中作用也比较显著,和其它类别“信用好”“信用差”等比肩。...F.设计纬度 模型的设计其实就是多维度和多角度的设计方式,这里我们就简单的通过一个对于线上借贷用户进行资质审核的模型进行举例子;从下面的流程我们可以看到,模型的审核流程一般都是要经过机器审核和人工确认的相结合的方式...五、模型的设计步骤 总体来说模型的设计主要可以分为以下的几个步骤: 1.获取数据 信用评估来自于用户数据,模型规则其实就是用户数据规则,信息的纬度也比较广泛,大致可以分为基本信息/行为信息...,一般来说活体检测是能够过滤到一部分恶意欺诈人群的。

    2.3K10

    机器学习与大数据

    但机器学习在中的作用究竟如何,有哪些关键技术,其优势与缺点又有哪些呢?本期硬创公开课,雷锋网邀请百融金服风险总监郑宏洲,来讲讲机器学习与大数据的那些事。 嘉宾介绍: 郑宏洲,百融金服风险总监。...机器学习几乎在每一个有数据的场景都有应用。它主要是区别于纯粹人工经验去做决策。 雷锋网:目前来说,机器学习在大数据中是怎么样的地位?作用多大?...大数据是量化的一种新形式,出现主要的条件是,现代社会是一个信息社会,在信息和数据上极大的膨胀,这给我们有更全面衡量个体风险的机会。...区别于传统技术,大数据是在方法论上做了相应的革新。风险,即不确定性。风险管理实际上就是做量化风险。大数据是将贷款主体各个方面的属性维度做全面风险的量化。...它的主流技术渗透到量化风险的整个流程中去,包括贷前、贷中、贷后以及营销获客等全生命周期的管理。机器学习作为大数据的显著特征出现,充当着重要的技术更新角色。

    1.9K80

    支付模型

    二、基于规则的 规则是最常用的,也是相对来说比较容易上手的模型。从现实情况中总结出一些经验,结合名单数据,制定规则,简单,有效。 常见的规则有: 1....它是其它模型的基础。实践中,首先使用已知的规则来发现存在问题的交易,人工识别交易的风险等级后,把这些交易作为其它有监督学习的训练数据集。...三、决策树模型 风险评估从本质上来说是一个数据分类问题。 和传统的金融行业风险评估不一样的地方,在于数据规模、业务变化快、实时要求高。一旦有漏洞被发现,会对公司造成巨大损失。...互联网金融离不开机器学习,特别是支付。 在各种支付模型中,决策树模式是相对比较简单易用的模型。 如下的决策树模型,我们根据已有的数据,分析数据特征,构建出一颗决策树。...支付场景分析 ; 支付数据仓库建设 ; 支付模型和流程分析(本文); 支付系统架构 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn

    2K21

    1.1 原则

    风险管理流程都是哪5步? 风险可以被消除吗?...01.2 描述风险管理流程,识别流程中的问题和挑战 识别风险 量化和估计风险敞口,决定合适的方法来转移风险 根据转移风险的成本来分析转移风险的方法 开发风险缓释策略 avoid 不做生意,完全避免 transfer...potential reward 可以被度量的reward概率部分就是risk,不能度量概率的就是uncertainty 01.6 描述和区分风险的关键类别,解释每种风险怎么产生的,评估风险的影响 有8类风险...不完全是零和游戏,B对 金融灾难和破产的成本没有考虑在完美市场理论,而不是within,C错 使用衍生品对冲需要披露信息,这是对冲的实践缺点,D错 02.2 解释决定一个公司risk appetite的顾虑和流程...practice in risk management Board相比accounting performance应该更关注economic performance Board应该促进健壮的风险管理流程

    2.4K60

    ML | 中的异常检测原理与应用

    今天来介绍一下中的异常检测,从最基础的概念开始讲起,因为本人对这块的内容平时工作也做得不多,更多滴偏向于“纸上谈兵”,有什么说得不对的地方,也欢迎各位朋友指正~谢谢。...异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测(Anomaly Detection 或 Outlier Detection),又称为离群点检测,在我们领域很多地方都会用到...0301 基于统计检验与分布算法 说起异常点检测,最容易想到的就是这个正态分布图了,3倍方差之外的数据属于异常数据。...它是在1977年由美国统计学家John Tukey发明,分析数据需要为定量数据,通过它可以直观的探索数据特征。我们可以从箱线图中直观地看到两点:数据离散分布情况以及离群点。...而右边为解码器,它负责把压缩了的数据再进行还原,努力恢复成原本的样子。如果恢复不了,那就意味着样本不是同一类,可以归纳为异常数据。 4、混合DAD:深度学习模型提取特征+SVM进行分类。

    2.8K20

    ML | 建模中怎么做拒绝推断

    建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。...其中,数据法中提到的3种方式都是比较好理解的。...,从而来捞回一些拒绝的客户,给予这些客户好坏的标签,用于后续的建模; 方法三:从人工审核的流程中找到具体的拒绝原因,根据描述,人工给予拒绝客户好坏标签。...06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适...Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 建模中的样本偏差与拒绝推断

    1.8K30

    ML | 建模老司机的几点思考与总结

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!...02 数据搜集处理(Data Curation) 当我们确定了要开发的模型之后,这个时候需要做的是搜集数据与处理数据了。...比如:一个模型是打算应用于初审环节(贷款审批流程),因此我们在初审节点后的变量都是不能用的,比如终审环节、门店审核等等,还有一些贷后的变量都是不能用的。...搜集数据,不需要等到所有的特征都搜集完才开始开发特征或者训练模型,有多少数据,就先搞多少数据。...在了解了以上的内容后,你就可以开始搜集所有相关的数据了,因为你的数据源会非常多,所以这里你必须做好数据的归档,不然后期会很乱,而且原始数据需要备份一份不要动,方便后续复盘使用。

    1.4K30

    【金融数据】消费金融:大数据那点事?

    数据同传统在本质上没有区别,主要区别在于模型数据输入的纬度和数据关联性分析。...大数据作为传统方式补充,主要利用行为数据来实施风险控制,用户行为数据可以作为另外的30%客户的有效补充。...风险评估过程中,如果数据纬度不全,高相关数据没有被考虑进来,对模型是一个的风险。信用风险评估模型缺少了重要风险因素的输入,其评估结果的偏离度就会较大,评估结果失效的可能性就很大。...3、丰富数据输入纬度以及较细的颗粒度,对传统的补充 传统模型已经不能适应复杂的现代风险管理环境,特别在数据信息录入纬度上,影响客户信用评分的信息较多,很多都没有引入到风险评估流程。...大数据可以从数据纬度和分析角度提升传统水平,是一个必要的补充,可以让传统更加科学严谨,但是不是取代传统的模型和数据

    3.8K51

    领域特征工程

    在金融行业,风险控制()是核心环节,它关乎资产安全、合规性以及机构的长期稳健发展。随着大数据时代的到来,金融机构面临着前所未有的数据量和复杂性。...在这样的背景下,领域特征工程应运而生,成为连接原始数据与精准风险评估的桥梁。 特征工程,简而言之,是对数据的一种深度加工,它通过一系列技术手段,将原始数据转化为对风险预测有用的信息。...这一过程不仅要求对数据进行清洗和转换,更要求深入理解业务逻辑,发掘数据背后的风险信号。 在领域,特征工程的核心目标是构建出能够准确反映个体或实体风险水平的特征集。...特征挖掘流程 特征挖掘流程是一系列有序的步骤,旨在从原始数据中提取有价值的信息。...通过综合运用这些特征衍生方法,领域的特征工程能够更全面地挖掘数据潜力,为风险评估提供多维度的视角。

    24510

    为本创新驱动,券商如何实现智能加速?

    合规始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规控管理能力,进而提升风险管理精细化、智能化水平。...面临挑战 该券商的数据基础主要来自于业务系统的关系型数据库的数据,需要在数据基础之上实现数据的运营。而由于合规处于企业核心竞争力的高度,原数据积累10年,数据量已超30TB。...02 原合规数据数据量巨大,原有的传统的备份手段难以实现数据的实时保护。备份效率低下,备份作业被持续拉长,甚至影响高峰期间开展业务。为避免对业务的性能影响,不得已取消备份任务。...解决方案 沃趣科技以QData高性能数据库云平台作为数据库基础架构平台替换原传统“烟囱式”系统架构,承载合规核心数据库系统,助力业务处理效率大幅提升。...价值提升 1 通过QData数据库云平台大幅提升了系统的业务效率,日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。

    1.2K10
    领券