经过长时间调研，他们最终选择了新一代分布式数据库 TiDB 作为离线层的核心数据库，基于 TiDB 打造的实时数据架构为风控智能决策保驾护航。...风控业务场景对数据库的需求与挑战作为一家第三方风控公司，客户经常需要调用同盾的智能决策服务去做业务决策，如电商大促期间防范黑产薅羊毛，个人信贷杜绝多头借贷老赖行为等。...在同盾的数据架构中，大多数初始落库的数据还比较原始，为了提供优质的数据服务用于智能决策，技术团队构建了成熟的大数据平台，用 T+1 离线数据分析的方式去进行日常的离线数据分析作业，利用数据二次加工赋能上层的风控智能决策...但面对复杂的数据基础架构，同盾在业务增长中也遭遇了如下挑战：同盾拥有在线数千个大大小小的 MySQL 工作实例，数据十分分散，有一些是核心的风控业务系统数据，有一些是后台基础架构平台的数据，还有一些是集团...项目的核心目标是在海量数据落库下，保障在线到离线数据的数据库的准实时性和一致性，并提供优质的数据服务给内部的风控系统开发人员、算法模型工程师和运营人员加工数据。为什么选择 TiDB？
我们这做风控模型的时候，经常是会用KS值来衡量模型的效果，这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标，了解当中的原理以及实现，因为这些知识是必备的基本功。...不过这不影响我们去使用它，我们只需要知道在风控中是怎么实现的，并且在实际场景中怎么去使用它就可以了。就如上面我们说的，KS在风控主要是用于评估模型的好坏样本区分度高低的。什么是区分度？...可以看下图： 从业务上来说，就是越往后的箱子，客户的质量越差，rate整体上呈现单调性，从而可以把大多数的坏人，直接从箱的维度上就可以区分开来了，在后续的风控策略使用体验上十分友好。...02 KS的生成逻辑 KS的生成逻辑公式也是十分简单： 好样本累计占比坏样本累计占比 在风控领域，我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱，一般来说分成了10份，然后再进行KS的计算...03 KS的效果应用 KS的值域在0-1之间，一般来说KS是越大越有区分度的，但在风控领域并不是越大越好，到底KS值与风控模型可用性的关系如何，可看下表： 004 KS的实现 首先我们来对上面展示的例子进行
风控定义 风控是风险控制的简称，在百度百科中是这么定义风险控制的。 风控在我们日常生活中随时可见，小到账户登录验证码，都可以算是一种风控的手段。...这里我们着重了解下信贷下的风控，结合了场景的风控，则赋予了更多的意义。...信贷风控的目标是「利益最大化」，而不是没有风险，在风险和利润之间找到平衡，是信贷风控的核心。...，以及在信贷场景下的风控如何实现，风控的目标永远是降风险，但不是一味地降，在不同场景下有不同的考虑。...文章例子参考《智能风控平台：架构、设计与实现》
「风控ML」系列文章，主要是分享一下自己多年以来做金融风控的一些事一些情，当然也包括风控建模、机器学习、大数据风控等相关技术分享，欢迎同行交流与新同学的加入，共同学习，进步！...第一次接触这两个名词是在做风控模型的时候，老师教我们可以用IV去做变量筛选，IV（Information Value），中文名是信息值，简单来说这个指标的作用就是来衡量变量的预测能力强弱的，然后IV又是
但是互联网金融所包含的业务种类远不止这两个，单纯的信用贷款类，就有专门放贷给学生的学生贷；在朋友圈之内贷款的朋友贷；给外企白领贷款的白领贷…… 如果你拿学生贷的模型给农民贷客户来用，或者拿给上海白领开发的模型给甘肃、西藏的白领用会怎么样呢...另外，风控模型在不同的阶段体现的方式和功能也不一样。...从资金的角度来看，风控模型是为了评估用户还款能力和还款意愿，反欺诈反作弊，防止用户薅羊毛和保证平台安全等功能；从行业的角度，互联网风控模型体现在消费金融／供应链金融／信用借贷／P2P／大数据征信等方面。...所以说，风控模型的计算策略和机制在一个公司属于绝密，规则除了核心的员工，其他人是不能知道风控规则的。 四、风控的核心 如果说金融产品的核心是风控，那么风控的核心是什么?...五、风控模型的设计步骤 总体来说风控模型的设计主要可以分为以下的几个步骤： 1.获取数据 信用评估来自于用户数据，模型规则其实就是用户数据规则，信息的纬度也比较广泛，大致可以分为基本信息／行为信息
这就需要对风控模型进行合理的设计。一般来说，要提升风控的拦截效率，就需要考虑更多的维度，但这也会带来计算性能的下降。在效率和性能之间需要进行平衡。...二、基于规则的风控 规则是最常用的，也是相对来说比较容易上手的风控模型。从现实情况中总结出一些经验，结合名单数据，制定风控规则，简单，有效。 常见的规则有： 1....互联网金融风控离不开机器学习，特别是支付风控。 在各种支付风控模型中，决策树模式是相对比较简单易用的模型。 如下的决策树模型，我们根据已有的数据，分析数据特征，构建出一颗决策树。...这个过程，将在下一篇的风控架构中介绍。 五、模型评估 风控本质上是对交易记录的一个分类，所以对风控模型的评估，除了性能外，还需要评估“查全率”和“查准率”。...支付风控场景分析 ； 支付风控数据仓库建设 ； 支付风控模型和流程分析(本文)； 支付风控系统架构 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn
风险管理的目标是减少和消除EL，但是更concern UL，A对 承担风险的数量和潜在损失的大小不是绝对相关的，B错 风险管理的最后一步是监控，C错 风险...
今天来介绍一下风控中的异常检测，从最基础的概念开始讲起，因为本人对这块的内容平时工作也做得不多，更多滴偏向于“纸上谈兵”，有什么说得不对的地方，也欢迎各位朋友指正～谢谢。...异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测（Anomaly Detection 或 Outlier Detection），又称为离群点检测，在我们风控领域很多地方都会用到
《风控建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。...06 总结一下 本文算是一个对拒绝推断的入门介绍了，让初涉风控模型的同学有一个相对来说比较清晰的全局认识，这里面涉及到的很多算法模型上的细节并没有展开来讲，因为我觉得这也会让阅读带来比较大的负担，公众号的文章还是要控制在几分钟内读完比较合适...Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 风控建模中的样本偏差与拒绝推断
「风控ML」系列文章，主要是分享一下自己多年以来做金融风控的一些事一些情，当然也包括风控建模、机器学习、大数据风控等相关技术分享，欢迎同行交流与新同学的加入，共同学习，进步！
合规风控始终是公司的首要核心竞争力，该券商不断推进全面风险管理体系建设，需要全方位提升主动合规风控管理能力，进而提升风险管理精细化、智能化水平。...而由于合规风控处于企业核心竞争力的高度，原风控数据积累10年，数据量已超30TB。...非现场风控平台各项报表和查询生成时间逐渐拉长。夜间批量任务越来越慢，部分任务出现超时失败现象。 02 原合规风控数据库数据量巨大，原有的传统的备份手段难以实现数据的实时保护。...解决方案 沃趣科技以QData高性能数据库云平台作为数据库基础架构平台替换原传统“烟囱式”系统架构，承载合规风控核心数据库系统，助力业务处理效率大幅提升。...价值提升 1 通过QData数据库云平台大幅提升了风控系统的业务效率，风控日终调度业务从原十几个小时缩短至1.5小时，性能提升10倍以上。
00 Index 01 GBDT和XGBoost的原理介绍 02 GBDT和XGBoost的异同点分析 03 什么风控建模场景下常用这两个明星算法？...03 什么风控建模场景下常用这两个明星算法？...交易反欺诈：A级出场率，主要是支付风控，防止客户进行薅羊毛、套现等行为。 客户流失：A级出场率。 贷后 催收告警：A级出场率。 迁徙率预测：B级出场率。 失联修复：C级出场率。...而关于风控模型怎么调优，我会在下一节一起讲。...风控模型怎么调优 关于风控模型的调优，先前有篇文章讲得比较细致《风控ML[7] | 风控模型调优的思路有哪些》，大家可以移步去回顾一下。
在金融行业，风险控制（风控）是核心环节，它关乎资产安全、合规性以及机构的长期稳健发展。随着大数据时代的到来，金融机构面临着前所未有的数据量和复杂性。...在这样的背景下，风控领域特征工程应运而生，成为连接原始数据与精准风险评估的桥梁。 特征工程，简而言之，是对数据的一种深度加工，它通过一系列技术手段，将原始数据转化为对风险预测有用的信息。...在风控领域，特征工程的核心目标是构建出能够准确反映个体或实体风险水平的特征集。...此外，良好的特征工程实践还能促进模型的解释性，为风控决策提供更加透明的依据。 随着技术的发展，特征工程的方法也在不断创新。...通过综合运用这些特征衍生方法，风控领域的特征工程能够更全面地挖掘数据潜力，为风险评估提供多维度的视角。
一套完整的风控体系，在风控中，少不了决策引擎，今天就浅谈一下风控决策引擎。 一、优先级 风控决策引擎是一堆风控规则的集合，通过不同的分支、层层规则的递进关系进行运算。...风控系统的作用在于识别绝对风控与标识相对风险，如果是绝对风控，则整套风控的审核结果便将是“拒绝”。既然结果必然是“拒绝”，则没必要运行完所有的风控规则，而主要单条触发“拒绝”即可停止剩余规则的校验。...而一些通过对接外部三方征信的风控规则，需支出相关查询费用的，则靠后运行。此外，在外部三方征信的规则中，命中式收费的风控规则（如黑名单与反欺诈）又可以优先于每次查询式收费的风控规则（如征信报告）运行。...三、记录与统计 风控最终到底是“跑出来”的，所以，整个风控系统对所有不同风控规则的触发需进行有效的记录与统计，以便后期可支持数据分析与风控模型调整的相关工作。...具体的记录与统计内容，主要如下： 1、触发的具体风控规则 举例说明：通过两种不同的视角进行记录，一是用户与订单层面，记录其所触发的明细规则；二是风控规则层面，记录某条风控规则具体的触发率。
双方以同程艺龙小程序为合作切入点，携手建立了“同御计划——业务安全联合项目组”(以下称“项目组”)，共同探讨微信生态下的OTA产业智慧风控解决方案。...项目组的成立，旨在为同程艺龙各业务线运营、活动及营销等提供整体风控保护，共同打击行业黑产。 自2018年9月下旬开始，腾讯云安全天御团队与同程艺龙风控团队已启动针对OTA行业的黑产行为联合研究。...依托腾讯20年的黑产对抗经验及AI大数据风控技术，通过同程艺龙风控团队累计的负样本数据，双方联合建模，在一个月的时间内上线了联合风控方案。由于业务测试效果良好，同月推广应用到同程艺龙各业务线。...目前，联合项目组推出的小程序智慧风控解决方案已取得阶段性成果。上线首月，便为同程艺龙接入风控服务的各业务线节约百万营销推广费用。...受益于与腾讯云的风控合作，目前同程艺龙对黑产流量的识能覆盖度已经实现了显著提升。在各业务的运营成本得到大幅节约的同时，各类创新的运营活动也可以放心地进行推广投放，实现运营与风控的正循环发展。
确定建模目的 在信贷领域中建立风控模型是为了找出可能会逾期的客户，根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立风控模型是为了找出可能存在非法经营的商户，保证商户没有违法经营。...确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付风控领域中，有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防控的风险决定...特征工程 在风控领域一直都有这样一句话 “数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。...模型上线 在支付风控领域如果模型验证没有问题，一般会上到线上，自动生成案例。在信贷中会模型搭配规则，判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。...模型稳定性验证 模型上线后，要定期观测模型的各项指标(PSI、模型变量均值、最大值、最小值、空值等)，看算模型的数据是否正常，模型的变量是否发生很大的偏斜，模型的准确率怎么样。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/141728.html原文链接：https://javaforall.cn
一个优秀的模型上线报告以及一个优秀的上线后模型监控报表，在我们日常风控建模中是非常的常用并且有用的，今天这个话题就来和大家聊聊怎么去制作优秀的模型上线报告以及上线后的模型监控报表，主要聊聊思路，先要有一个全局的感受...以下内容均基于自己浅薄的经历提炼的，如有纰漏，欢迎指正或补充哦，欢迎交流～ 00 Index 01 聊聊为什么要做这件事 02 标配的风控模型上线报告应具备哪些内容 0201 模型现状 0202 KS值与各种曲线...02 标配的风控模型上线报告应具备哪些内容 0201 模型现状 想要突出你模型的好，你得先分析旧模型的不好。 比如说，把目前线上模型的实际表现进行统计，如KS值、分组排序性、PSI等基础指标。...0202 KS值与各种曲线 我们需要描述模型的效果，在风控领域最直接的指标就是KS值，我们一般会认为KS>0.3才具备最基本的上线要求，而且我们要保证训练集、测试集以及跨时间测试集都需要达到标准哦！...一般情况下，我们会对预测结果按照一定的阈值，进行分组，比如分为A/B/C/D/E/F共6组，越靠后就意味着越有可能是高风险客户，我们给予一定的风控规则进行拦截。
账号：垃圾注册、撞库、盗号等 交易：盗刷、恶意占用资源、篡改交易金额等 活动：薅羊毛 短信：短信轰炸 项目介绍 实时业务风控系统是分析风险事件，根据场景动态调整规则，实现自动精准预警风险的系统。...什么样的事件是有风险的，风险分析需要用到统计学，对异常用户的历史数据做统计分析，找出异于正常用户的特征 实时性，风险事件的分析必须毫秒级响应，有些场景下需要尽快拦截，能够给用户止损挽回损失 低误报，这需要人工风控经验...对各种场景风险阈值和评分的设置，需要长期不断的调整，所以灵活的规则引擎是很重要的 支持对历史数据的回溯，能够发现以前的风险，或许能够找到一些特征供参考 项目标签 轻量级，可扩展，高性能的Java实时业务风控系统...基于Spring boot构建，配置文件能少则少 使用drools规则引擎管理风控规则，原则上可以动态配置规则 使用redis、mongodb做风控计算和事件储存，历史事件支持水平扩展 原理 统计学...； 扩展风控规则，针对需要解决的场景问题，添加特定规则，分值也应根据自身场景来调整。
早期传统金融的风控主要利用了信用属性强大的金融数据，一般采用20个维度左右的数据，利用评分来识别客户的还款能力和还款意愿。...结合中国互联网发展，以及目前的征信监管要求，对可用数据及可用风控类数据做一个全面的梳理。...2.风控数据来源 2.1 数据应用逻辑 常见风控流程中，客户准入时提供的资信材料有限，业务机构风控数据体量不足，仅仅根据内部风险数据进行风险评估会非常片面，无法全面的把控某位客户的风险情况，所以通常需要依赖于第三方供应商提供数据作风控支撑...未来百行能不能有效被使用上还有待观察，但风控人员可先了解其相关的资料。百行征信涉及的模块，主要包括以下方面： 报告相关数据：报告时间；查询原因；查询结果等。...4.2 明确需求 建议：回顾第二节数据应用逻辑关于业务类型、风险类型、风控流程、风险画像等的介绍。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
