「13章」Flink 从0到1实战实时风控系统Flink 核心技能实操环境搭建在进行 Flink 开发之前,需要先搭建好开发环境。...) .startNewChain() .keyBy(value -> value.f0) .sum(1);使用异步 I/O:对于涉及到外部存储(如数据库、文件系统
摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...除了数仓的分析场景以外,钱大妈面临着业务系统中的风控需求,例如每季度的营销费用中被不少的羊毛党薅走正常用户的利益,其中羊毛党一方面可能导致用户的口碑下降,另一方面也会影响原有的活动运营预算迅速攀升从而导致资损...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风控场景需求
此次实训项目的核心内容是文件的保护系统,核心是对文件的加解密。开发之初,本着边做边学习的想法,我们选了毫无基础的python作为开发语言,对语法的不熟悉成为了我们最大的障碍。
2010加入携程,参与了携程结算平台、风控系统的开发,对系统架构、流式数据处理等有比较深入的研究。...目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。...一、Aegis系统体系 ? 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是:风控Event数据(订单数据、支付数据),各个系统采集来的 UBT、设备指纹、日志数据等等。 除了这些,风控平台还有非常完善的监控预警系统,人工审核平台以及报表系统。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用
性能和复杂度可以兼得 携程的风控系统,和大部分第三方支付平台一样,也是以实时风控系统为主: 支付环节一般留给风控校验的时间不会超过1s,业务风控点上更是希望风控能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风控系统也迎来了一次完全的重写。...每天风控收集上来的数据超过50亿条,其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。...模型执行引擎: 风控引擎支持把SAS或SPARK等工具训练出来的模型直接在风控系统中部署,支持DOT和PMML等多种格式。
这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...该系统有三条数据流向: 实时风控数据流,由红线标识,同步调用,为风控调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风控部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风控 实时风控是整个系统的核心,被业务系统同步调用,完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风控判断部分与规则管理部分拆开。...前边提到,做规则判断需要事实的相关指标,比如最近一小时登陆次数,最近一小时注册账号数等等,这些指标通常有一段时间跨度,是某种状态或聚合,很难在实时风控过程中根据原始数据进行计算,因为风控的规则引擎往往是无状态的...Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风控系统查询。两者问题都不大,根据场景选择即可。
摘要:本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛,在 FFA 实时风控专场的分享。...开发了相关代码并跑起作业后,遇到 d1、a1、b1、b2、d2、c1 的事件流,Flink CEP 就能找到其中的 a1、b1、b2、c1 这一次匹配,之后用户就可以在作业中针对这次匹配做出处理,比如发送报警到下游系统等...我们这里展示三个典型场景: 第一个场景,实时风控。...例如限制恶意用户、向广告主发送告警等来保护用户权益。同时考虑到可能有意外因素,例如达人推荐、热点事件引流等导致某一商品的流量骤变,我们也需要动态调整用于识别恶意流量的规则,避免损害正常用户的利益。
引言 上一篇文章中,我们看到了如何从实地址模式进入到保护模式: 进军保护模式 但是那一段简短的程序中,存在着很多不足,例如,数据直接在内存中读写,数据实际上没有被保护模式保护起来,同时,由于没有堆栈段...LABEL_REAL_ENTRY ; 段地址会在程序开始处被设置成正确的值 Code16Len equ $ - LABEL_SEG_CODE16 LABEL_REAL_ENTRY: ; 从保护模式跳回到实模式就到了这里...SelectorCode32 装入 cs, ; 并跳转到 Code32Selector:0 处 LABEL_REAL_ENTRY: ; 从保护模式跳回到实模式就到了这里...由实模式跳入....由 32 位代码段跳入, 跳出后到实模式 [SECTION .s16code] ALIGN 32 [BITS 16] LABEL_SEG_CODE16: ; 跳回实模式: mov
导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...,我们将指标监控系统由 Monitor 监控系统改造为智研监控系统。
2010加入携程,参与了携程结算平台、风控系统的开发,对系统架构、流式数据处理等有比较深入的研究。...目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。...一、Aegis系统体系 ? 图1 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是:风控Event数据(订单数据、支付数据),各个系统采集来的UBT、设备指纹、日志数据等等。 除了这些,风控平台还有非常完善的监控预警系统,人工审核平台以及 报表系统。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用
12月1日晚间,卓翼科技(002369.SZ)发布公告称,公司控股股东、实控人夏传武因涉嫌内幕交易、操纵证券市场罪,经深圳市中级人民法院批准,于12月1日被深圳市公安局执行逮捕。...资料显示,夏传武生于1973年,2004年起任职卓翼科技,2014年初成为卓翼科技实控人。而夏传武被抓主要以与2018年公司重组期间内幕交易有关。
本篇更新策略篇的规则集性能测算及Python实操,内容选自《100天风控专家》第57期。 首先介绍规则集的完整分析流程,包括五个步骤。 一、规则集分析流程 1....三、案例分析Python代码实操 通过配置决策树参数以及入模变量数量,自动化生成规则100多条,通过规则评估指标如命中率、精准率、召回率、lift进行初步筛选,组成为规则集进行初步的性能测试。...-end- 以上内容节选自《100天风控专家》从0到1的信贷风控训练营
陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风控平台开发。...导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。
该家电企业迅速部署了风控系统,并对活动规则进行细化。活动再次重启后,风控系统发现了大量涉嫌参与羊毛党的账号,并及时对其进行了拦截,保证了活动的顺利进行。...防范账号盗用和篡改:通过对用户登录、注册、密码修改等行为进行监控,风控系统可以尽早发现账号被盗用或者信息被篡改的情况,及时采取措施,保护用户的个人信息安全。...为了防范各种业务风险,保护平台和商家的利益,以及提高用户体验,电商网站和App需要建设专属的风控体系。...顶象Dinsight实时风控引擎,支持私有化部署和SaaS服务。以SaaS接入为例: 第一步,注册/登陆 顶象防御云,开通实时风险决策服务。...随着风控技术的不断普及和完善,企业使用风控系统已经变得越来越简单易用。同时,需要根据自身业务需求和风险特点,确定合适的风控策略和模型,以确保系统的准确性和实用性。
它是维护变电站等电力系统安全可靠运行,保证运行人员和电气设备安全的重要设施。在我国,由于资源、经济等原因,接地网所用材质主要为普通碳钢。...阴极保护技术包括牺牲阳极和外加电流两种方法。一般对小口径管道,海水流速及介质组成变化较大,需提供较大保护电流情况,较适宜采用外加电流阴极保护。...近年来,电厂机务部分海水循环水系统越来越多地采用外加电流阴极保护。...机务部分循环水系统通常由管道(直管、弯头及大小头等)、设备 (如凝汽器、换热器、滤网、蝶阀等)组成,具有复杂的结构、多种材质连接,这些都使管道及设备系统阴极保护变得复杂,要对系统进行全面地保护,必须进行科学合理的设计和良好的防腐施工...以往为了防止腐蚀而用镀锌,但是只有镀锌的防腐是不会长效的,所以近年多采取阴极保护方法而达到长效保护目的,理论和实践均证明,这种方法是有效的。图片
本特利3500在线监测与保护系统。监测与保护系统大型机组设备提供连续的在线状态监测与保护,在检测和防止旋转机械的误跳闸和误跳闸方面处于世界领先地位。...全球安装超过80000台,通过跳闸监控机器提供自动保护值,在需要时防止昂贵的损坏。...3500系统还可以保护您的机器和流程,防止错误的跳闸,这些错误跳闸可能会毫无理由地导致您的操作停机,从而导致昂贵的停机或生产损失。...信息通过设备和 3500 系统配置实用程序使用的明文专有协议进行交换。 本特利内华达 3500 系统配置实用程序。...该机架配置为在访问级别(“连接密码”)和配置级别(“配置密码”)启用密码保护,以模拟启用两种保护的真实场景。然后对专有协议进行分析和逆向工程,以识别设计级别和实现级别可能存在的弱点。
系统保护规则 CPU使用率 设置 为了方便产生现象, 设置了使用率朝贡国10% 就触发保护 效果 入口QPS 设置 针对 所有接口的平均 QPS 阈值 效果 访问次数很多的情况下,即可出现
账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务风控系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。...本项目只提供实时风控系统框架基础和代码模板。...对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务风控系统...基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理风控规则,原则上可以动态配置规则 使用redis、mongodb做风控计算和事件储存,历史事件支持水平扩展 原理 统计学...; 扩展风控规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整。
选择稍后安装操作系统 ? 版本选择Debain 因为我的光盘映像文件是2020最新版 所以我版本也选择了最新版的64位 ? 名称是虚拟机上的名称,可以改写 ?...双击“Ext4文件系统”,点交换空间分配swap ? ? 根据同样的方法将剩余内存分配给“/”,注意分区是逻辑分区不是主分区 最后得到这样的分区 ?
领取专属 10元无门槛券
手把手带您无忧上云