首页
学习
活动
专区
圈层
工具
发布

同盾科技 x TiDB丨实时数据架构为风控智能决策保驾护航

经过长时间调研,他们最终选择了新一代分布式数据库 TiDB 作为离线层的核心数据库,基于 TiDB 打造的实时数据架构为风控智能决策保驾护航。...风控业务场景对数据库的需求与挑战作为一家第三方风控公司,客户经常需要调用同盾的智能决策服务去做业务决策,如电商大促期间防范黑产薅羊毛,个人信贷杜绝多头借贷老赖行为等。...在同盾的数据架构中,大多数初始落库的数据还比较原始,为了提供优质的数据服务用于智能决策,技术团队构建了成熟的大数据平台,用 T+1 离线数据分析的方式去进行日常的离线数据分析作业,利用数据二次加工赋能上层的风控智能决策...但面对复杂的数据基础架构,同盾在业务增长中也遭遇了如下挑战:同盾拥有在线数千个大大小小的 MySQL 工作实例,数据十分分散,有一些是核心的风控业务系统数据,有一些是后台基础架构平台的数据,还有一些是集团...项目的核心目标是在海量数据落库下,保障在线到离线数据的数据库的准实时性和一致性,并提供优质的数据服务给内部的风控系统开发人员、算法模型工程师和运营人员加工数据。为什么选择 TiDB?

79320

风控ML | 风控建模的KS

我们这做风控模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。...不过这不影响我们去使用它,我们只需要知道在风控中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在风控主要是用于评估模型的好坏样本区分度高低的。什么是区分度?...可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的风控策略使用体验上十分友好。...02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在风控领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算...03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在风控领域并不是越大越好,到底KS值与风控模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

5.8K31
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    信贷风控模型搭建及核心风控模式分类

    但是互联网金融所包含的业务种类远不止这两个,单纯的信用贷款类,就有专门放贷给学生的学生贷;在朋友圈之内贷款的朋友贷;给外企白领贷款的白领贷…… 如果你拿学生贷的模型给农民贷客户来用,或者拿给上海白领开发的模型给甘肃、西藏的白领用会怎么样呢...另外,风控模型在不同的阶段体现的方式和功能也不一样。...从资金的角度来看,风控模型是为了评估用户还款能力和还款意愿,反欺诈反作弊,防止用户薅羊毛和保证平台安全等功能;从行业的角度,互联网风控模型体现在消费金融/供应链金融/信用借贷/P2P/大数据征信等方面。...所以说,风控模型的计算策略和机制在一个公司属于绝密,规则除了核心的员工,其他人是不能知道风控规则的。 四、风控的核心 如果说金融产品的核心是风控,那么风控的核心是什么?...五、风控模型的设计步骤 总体来说风控模型的设计主要可以分为以下的几个步骤: 1.获取数据 信用评估来自于用户数据,模型规则其实就是用户数据规则,信息的纬度也比较广泛,大致可以分为基本信息/行为信息

    3.7K11

    支付风控模型

    这就需要对风控模型进行合理的设计。一般来说,要提升风控的拦截效率,就需要考虑更多的维度,但这也会带来计算性能的下降。在效率和性能之间需要进行平衡。...二、基于规则的风控 规则是最常用的,也是相对来说比较容易上手的风控模型。从现实情况中总结出一些经验,结合名单数据,制定风控规则,简单,有效。 常见的规则有: 1....互联网金融风控离不开机器学习,特别是支付风控。 在各种支付风控模型中,决策树模式是相对比较简单易用的模型。 如下的决策树模型,我们根据已有的数据,分析数据特征,构建出一颗决策树。...这个过程,将在下一篇的风控架构中介绍。 五、模型评估 风控本质上是对交易记录的一个分类,所以对风控模型的评估,除了性能外,还需要评估“查全率”和“查准率”。...支付风控场景分析 ; 支付风控数据仓库建设 ; 支付风控模型和流程分析(本文); 支付风控系统架构 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn

    3.9K22

    安全上云,同程艺龙携手腾讯云成立风控联合项目组

    双方以同程艺龙小程序为合作切入点,携手建立了“同御计划——业务安全联合项目组”(以下称“项目组”),共同探讨微信生态下的OTA产业智慧风控解决方案。...项目组的成立,旨在为同程艺龙各业务线运营、活动及营销等提供整体风控保护,共同打击行业黑产。 自2018年9月下旬开始,腾讯云安全天御团队与同程艺龙风控团队已启动针对OTA行业的黑产行为联合研究。...依托腾讯20年的黑产对抗经验及AI大数据风控技术,通过同程艺龙风控团队累计的负样本数据,双方联合建模,在一个月的时间内上线了联合风控方案。由于业务测试效果良好,同月推广应用到同程艺龙各业务线。...目前,联合项目组推出的小程序智慧风控解决方案已取得阶段性成果。上线首月,便为同程艺龙接入风控服务的各业务线节约百万营销推广费用。...受益于与腾讯云的风控合作,目前同程艺龙对黑产流量的识能覆盖度已经实现了显著提升。在各业务的运营成本得到大幅节约的同时,各类创新的运营活动也可以放心地进行推广投放,实现运营与风控的正循环发展。

    1.9K30

    风控为本创新驱动,券商如何实现智能风控加速?

    合规风控始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规风控管理能力,进而提升风险管理精细化、智能化水平。...而由于合规风控处于企业核心竞争力的高度,原风控数据积累10年,数据量已超30TB。...非现场风控平台各项报表和查询生成时间逐渐拉长。夜间批量任务越来越慢,部分任务出现超时失败现象。 02 原合规风控数据库数据量巨大,原有的传统的备份手段难以实现数据的实时保护。...解决方案 沃趣科技以QData高性能数据库云平台作为数据库基础架构平台替换原传统“烟囱式”系统架构,承载合规风控核心数据库系统,助力业务处理效率大幅提升。...价值提升 1 通过QData数据库云平台大幅提升了风控系统的业务效率,风控日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。

    1.9K10

    风控领域特征工程

    在金融行业,风险控制(风控)是核心环节,它关乎资产安全、合规性以及机构的长期稳健发展。随着大数据时代的到来,金融机构面临着前所未有的数据量和复杂性。...在这样的背景下,风控领域特征工程应运而生,成为连接原始数据与精准风险评估的桥梁。 特征工程,简而言之,是对数据的一种深度加工,它通过一系列技术手段,将原始数据转化为对风险预测有用的信息。...在风控领域,特征工程的核心目标是构建出能够准确反映个体或实体风险水平的特征集。...此外,良好的特征工程实践还能促进模型的解释性,为风控决策提供更加透明的依据。 随着技术的发展,特征工程的方法也在不断创新。...通过综合运用这些特征衍生方法,风控领域的特征工程能够更全面地挖掘数据潜力,为风险评估提供多维度的视角。

    1.8K11

    风控决策引擎经验

    一套完整的风控体系,在风控中,少不了决策引擎,今天就浅谈一下风控决策引擎。 一、优先级 风控决策引擎是一堆风控规则的集合,通过不同的分支、层层规则的递进关系进行运算。...风控系统的作用在于识别绝对风控与标识相对风险,如果是绝对风控,则整套风控的审核结果便将是“拒绝”。既然结果必然是“拒绝”,则没必要运行完所有的风控规则,而主要单条触发“拒绝”即可停止剩余规则的校验。...而一些通过对接外部三方征信的风控规则,需支出相关查询费用的,则靠后运行。此外,在外部三方征信的规则中,命中式收费的风控规则(如黑名单与反欺诈)又可以优先于每次查询式收费的风控规则(如征信报告)运行。...三、记录与统计 风控最终到底是“跑出来”的,所以,整个风控系统对所有不同风控规则的触发需进行有效的记录与统计,以便后期可支持数据分析与风控模型调整的相关工作。...具体的记录与统计内容,主要如下: 1、触发的具体风控规则 举例说明:通过两种不同的视角进行记录,一是用户与订单层面,记录其所触发的明细规则;二是风控规则层面,记录某条风控规则具体的触发率。

    1.8K30

    实时业务风控系统

    账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务风控系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。...什么样的事件是有风险的,风险分析需要用到统计学,对异常用户的历史数据做统计分析,找出异于正常用户的特征 实时性,风险事件的分析必须毫秒级响应,有些场景下需要尽快拦截,能够给用户止损挽回损失 低误报,这需要人工风控经验...对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务风控系统...基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理风控规则,原则上可以动态配置规则 使用redis、mongodb做风控计算和事件储存,历史事件支持水平扩展 原理 统计学...; 扩展风控规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整。

    3.2K10

    风控数据体系-简介

    早期传统金融的风控主要利用了信用属性强大的金融数据,一般采用20个维度左右的数据,利用评分来识别客户的还款能力和还款意愿。...结合中国互联网发展,以及目前的征信监管要求,对可用数据及可用风控类数据做一个全面的梳理。...2.风控数据来源 2.1 数据应用逻辑 常见风控流程中,客户准入时提供的资信材料有限,业务机构风控数据体量不足,仅仅根据内部风险数据进行风险评估会非常片面,无法全面的把控某位客户的风险情况,所以通常需要依赖于第三方供应商提供数据作风控支撑...未来百行能不能有效被使用上还有待观察,但风控人员可先了解其相关的资料。百行征信涉及的模块,主要包括以下方面: 报告相关数据:报告时间;查询原因;查询结果等。...4.2 明确需求 建议:回顾第二节数据应用逻辑关于业务类型、风险类型、风控流程、风险画像等的介绍。

    5.9K67

    风控建模整体流程

    确定建模目的 在信贷领域中建立风控模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立风控模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。...确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付风控领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防控的风险决定...特征工程 在风控领域一直都有这样一句话 “数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。...模型上线 在支付风控领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。...模型稳定性验证 模型上线后,要定期观测模型的各项指标(PSI、模型变量均值、最大值、最小值、空值等),看算模型的数据是否正常,模型的变量是否发生很大的偏斜,模型的准确率怎么样。

    2.6K20

    金融风控的力量

    随着大数据、云计算和人工智能技术的不断发展,金融风控成为了维护金融稳定、保护投资者利益的关键。下面我们将深入探讨金融风控的重要性,以及如何利用云技术提升风控能力。...金融风控的定义与重要性 定义 金融风控,全称为金融风险控制,是指金融机构通过一系列方法和手段,对可能出现的风险进行识别、评估、监控和控制,以减少损失、保护资产和确保业务的持续发展。...合规性:金融风控有助于金融机构遵守监管要求,避免因违规操作而受到处罚。 信誉维护:良好的风控能力可以增强客户和市场对金融机构的信任。...业务决策支持:风控数据可以为金融机构的业务决策提供支持,帮助制定更有效的策略。...结语 金融风控是金融行业的核心能力之一。随着云技术的不断进步,金融机构可以更加高效、智能地进行风险管理。鼓励金融机构拥抱云技术,提升风控能力,以应对日益复杂的金融环境。

    25410
    领券