「13章」Flink 从0到1实战实时风控系统Flink 核心技能实操环境搭建在进行 Flink 开发之前，需要先搭建好开发环境。...) .startNewChain() .keyBy(value -> value.f0) .sum(1);使用异步 I/O：对于涉及到外部存储（如数据库、文件系统
摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...除了数仓的分析场景以外，钱大妈面临着业务系统中的风控需求，例如每季度的营销费用中被不少的羊毛党薅走正常用户的利益，其中羊毛党一方面可能导致用户的口碑下降，另一方面也会影响原有的活动运营预算迅速攀升从而导致资损...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...图一：钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分：事件接入、风险感知、风险应对、风险回溯。...图六：社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境，在此解决方案里未引入新的技术组件和编程语言，最大化复用 Flink 资源实现实时风控场景需求
目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。...也从原来基于“简单规则+DB”，发展到目前能够支撑10X交易增长的智能化风控系统，基于规则引擎、实时模型计算、流式处理、M/R、大数据、数据挖掘、机器学习等的风控系统，拥有实时、准实时的风险决策、数据分析能力...一、Aegis系统体系 ? 主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用...七、展望 携程风控在3.0中通过引入规则引擎、在Chloro系统中大量使用开源的基于大数据处理的架构，配合模型取得了非常好的效果，在4.0中，将在机器学习、人工智能、行为特征等方向继续发力，进一步提高风控系统识别能力
在信息安全领域，建立在人工智能技术之上的策略引擎已经深入到了风控产品功能的方方面面，相应的，每一个策略系统都离不开大量的特征，来支撑模型算法或人工规则对请求的精准响应，因此特征系统成为了支持线上风控引擎的重要支柱...本文以智能风控在线特征系统为原型，重点从线上数据从生产到特征物料提取、计算、存取角度介绍一些实践中的通用技术点，以解决在线特征系统在高并发情形下面临的问题和挑战。 特征系统的基本概念 1....c) 并发大，风控策略系统面向用户端，服务端峰值QPS超过35万，每日调用量超过200亿次。...d) 延迟低，面对用户的请求，风控系统为了保持良好的用户体验，更快的完成对用户准入条件的判断，要求特征系统接口的延迟在50ms以内。...总结和规划 本文主要以智能风控在线特征系统为原型，提出了在线特征系统的一些设计思路。其中特征工程系统的边界并不限于特征的解析、计算、存取等。
这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下： ?...该系统有三条数据流向： 实时风控数据流，由红线标识，同步调用，为风控调用的核心链路； 准实时指标数据流，由蓝线标识，异步写入，为实时风控部分准备指标数据； 准实时/离线分析数据流，由绿线标识，异步写入，...2.1 实时风控 实时风控是整个系统的核心，被业务系统同步调用，完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整，所以我们会把风控判断部分与规则管理部分拆开。...前边提到，做规则判断需要事实的相关指标，比如最近一小时登陆次数，最近一小时注册账号数等等，这些指标通常有一段时间跨度，是某种状态或聚合，很难在实时风控过程中根据原始数据进行计算，因为风控的规则引擎往往是无状态的...Flink 把汇总的指标结果写入 Redis 或 Hbase，供实时风控系统查询。两者问题都不大，根据场景选择即可。
近两年来，我们在大数据和人工智能方向投入研发资源，产出了设备指纹、CDNA、实时复杂变量计算引擎等一系列创新项目，取得到很好的应用效果。...性能和复杂度可以兼得 携程的风控系统，和大部分第三方支付平台一样，也是以实时风控系统为主： 支付环节一般留给风控校验的时间不会超过1s，业务风控点上更是希望风控能在100ms内就能通过；对性能的追求，也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型，使模型也能和规则一样能直接拒绝交易；平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当，对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右，直到2015年正好赶上公司技术栈从.Net往Java平台转变，风控系统也迎来了一次完全的重写。...每天风控收集上来的数据超过50亿条，其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。
摘要：本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛，在 FFA 实时风控专场的分享。...开发了相关代码并跑起作业后，遇到 d1、a1、b1、b2、d2、c1 的事件流，Flink CEP 就能找到其中的 a1、b1、b2、c1 这一次匹配，之后用户就可以在作业中针对这次匹配做出处理，比如发送报警到下游系统等...我们这里展示三个典型场景： 第一个场景，实时风控。...本文为从大数据到人工智能博主「jellyfin」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
，达到一个集控系统可以控制家庭各种设备的目的。...图3-1 远程智能家居集控系统的登陆界面 3.2 客户端管理的总体布局 在集控系统中，主要集成数据管理和数据展示，还有集成控制。...下图3-2是智能家居集控系统的照明系统界面。 ? 图3-2 远程智能家居集控系统的照明系统 在网页与服务器的交互上，采用的是ajax技术，该技术可以在不刷新网页的情况下向服务器提交数据。...图4-3 手机登录智能家居监控系统登录界面 手机端的远程集控系统也是以网页的形式展示的，通过输入用户名和密码，进入后台管理系统。在该界面的操作即可远程操作开发板上的硬件资源。...图4-4 通过手机进入智能家居集控系统 5.实物及代码 ? 主要的客户端代码(主界面) <!
WMS智能仓储管理系统具有非常强的技术支持，功能模块也非常强悍，所以，要想能够迅速地发展起来，那就必须要先从仓库管理开始。WMS智能仓储管理系统究竟有什么优点可以被很多人选择？...SiMDA-WMS是在条码技术与RFID技术相结合的基础上发展起来的一套与企业现代化仓储精益管理理念相一致的智能化仓储管理系统，实现了仓库可视化及仓储的无缝衔接，旨在提高仓库存储空间利用率，促进物料管理质量及效率的提高...在此，向您介绍几种WMS在智能仓储管理系统中的优点，使您对于WMS智能仓储管理系统获得更深层次的理解与认识。仓储管理始终是工厂的中心。...该智能仓储管理系统实现了入库业务，出库业务，仓库调拨，库存调拨，虚仓管理，综合物料对应，库存盘点以及即时库存管理，本发明可以对仓库业务的物流及成本管理的整个过程进行有效的控制与追踪，从而实现仓储业务的网络化管理...珠海先达智控主要集中在MES,WMS,HRM等系统上，各系统均是在同一个平台上进行研发，实现了数据的实时互传和同步。先达智控旨在将工厂简化为一个整体、一套体系能够将全部数据能够实时开放，破除信息孤岛。
目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。...也从原来基于“简单规则+DB”，发展到目前能够支撑10X交易增长的智能化风控系统，基于规则引擎、实时模型计算、流式处理、M/R、大数据、数据挖掘、机器学习等的风控系统，拥有实时、准实时的风险决策、数据分析能力...一、Aegis系统体系 ? 图1 主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用...在4.0中，将在机器学习、人工智能、行为特征等方向继续发力，进一步提高风控系统识别能力，对于技术将继续拥抱开源技术，下一步会引入Spark等提高风控系统的数据处理能力。
导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...，我们将指标监控系统由 Monitor 监控系统改造为智研监控系统。
12月1日晚间，卓翼科技（002369.SZ）发布公告称，公司控股股东、实控人夏传武因涉嫌内幕交易、操纵证券市场罪，经深圳市中级人民法院批准，于12月1日被深圳市公安局执行逮捕。...资料显示，夏传武生于1973年，2004年起任职卓翼科技，2014年初成为卓翼科技实控人。而夏传武被抓主要以与2018年公司重组期间内幕交易有关。...公开资料显示，卓翼科技成立于2004年，并于2010年上市，主营业务是提供网络通讯、消费电子和智能硬件产品的研发、生产制造和销售服务，主要以ODM/JDM/EMS等模式与国内行业龙头企业进行合作。...消费电子类的产品包括手机、移动电源等，智能硬件类的产品包括智能穿戴设备、智能摄像头、车联网智能终端等。公司的核心客户包括华为、小米、360、三星、欧普照明等。 从卓翼科技的历史经营业绩来看较为糟糕。
幸运的是，我们可以利用现代技术中强大工具——HTTP（超文本传输协议）爬虫ip，并将其与智能路由相结合来解决这些难题。...通过正确配置和应用HTTP爬虫ip进行智能路由管理,我们可以架设起一个高度可靠且无阻碍抓取目标网页内容并自动切换IP地址实现匿名化操作等功能的爬虫系统。 首先要明确什么是HTTP爬虫ip。...通过使用它们所提供的API接口,可以方便地集成到我们编写的爬虫系统中。 其次，我们需要在爬虫代码中实现相应逻辑来调用HTTP爬虫ip并进行智能路由管理。...另外,对于某些特定情况下可能出现阻塞、验证码等反爬手段时,利用智能路径功能来自动更新IP也是非常必要和有益处....这些技巧在构建高度可靠且智能化的网络爬虫系统上起到至关重要的作用。
本篇更新策略篇的规则集性能测算及Python实操，内容选自《100天风控专家》第57期。 首先介绍规则集的完整分析流程，包括五个步骤。 一、规则集分析流程 1....三、案例分析Python代码实操 通过配置决策树参数以及入模变量数量，自动化生成规则100多条，通过规则评估指标如命中率、精准率、召回率、lift进行初步筛选，组成为规则集进行初步的性能测试。...-end- 以上内容节选自《100天风控专家》从0到1的信贷风控训练营
陈建平，后台开发工程师，现就职于TEG安全平台部-业务安全中心，主要负责中心实时策略风控平台开发。...导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块：主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。
蚂蚁集团围绕信贷业务实时场景打造高可用、高并发、数据智能的在线实时风控系统，上千条实时策略只需要 25ms、服务可靠性 99.99%+。...在 7 月 21-22 日深圳 ArchSummit 全球架构师峰会上，来自蚂蚁集团的高级技术专家马希民分享了，基于信贷实时风控，构建数据智能的高可用实时风控决策系统实践。以下是演讲内容整理。...我们团队主要负责的是消费金融产品的实时风控，例如支付宝收银台中花呗、花呗分期、信用卡分期等贷记产品显示时，表示这笔交易已经通过了我们的实时风控系统，被视为无风险交易，我们实时的决策系统面临的主要问题有以下四方面...今天我主要分享了如何使实时风控决策系统实现极速响应和高可用性。实时风控决策系统的在性能方面的核心优化手段是降低 IO，我之前提到的多级决策、分层决策、预决策和规则精简，本质上都是为了减少 IO。...嘉宾介绍 马希民，蚂蚁金服高级技术专家，本科和硕士就读于清华大学精密仪器系，硕士毕业后前往新加坡，期间主要从事大数据研发相关工作，2020 年回国后加入蚂蚁金服，目前带领团队致力于打造高可用、高并发、数据智能的在线实时风控决策系统
作者经历从传统风控到智能风控转型的全过程，以亲身实践系统全面的梳理智能风控发展的脉络，从理论和实践的角度给出了有价值的洞见，为希望理解和实施智能风控的读者提供了一份详实的路线图。...本书介绍了智能风控的发展历史，围绕风控模型、特征画像、风控策略等核心环节展开，系统性讲解智能风控在信贷领域的应用。...作者结合自身多年的人工智能算法和信贷风控实践的从业经验，从实际工作出发，具有很强的实操性，适合风险管理和金融科技相关从业人员参考学习使用。...辛园 神州信息金融科技首席风控官 本书全面介绍了智能风控的演变历程，内容贯穿了信贷风控的全生命周期，将理论框架与实践案例分析进行了有效结合，突出了智能风控应用的实操性。...书中有大量项目案例和代码示例，实操性很强，是一本不可多得的适合智能风控技术相关人才学习的书籍！
智能门锁的识别技术中，密码几乎成为标配功能。相比机械按键的触控方式，电容式触控方式可以在加上一层玻璃甚至金属一体成型之后与用户进行交互，由于进行了物理性隔离，使得外壳更具完整性，物理上安全性更佳。...在电容触控方式中，分为自容、互容触控方案。...自容方案：使用一个引脚，利用引脚和电源地之间电容的容量变化进行测量 互容方案：利用两个电极之间的电容容量变化进行测量 自容方案简单，计算量小，但速度慢；互容方案相对复杂，但可支持多点触控，速度快。...智能门锁为分立式按键，因此一般采用自容式的触摸芯片方案。...在触摸感应系统中所有电容的计算都符合平行板电容公式： 在触摸芯片中，实现电容式感应触摸识别的常用电路主要由：驰张振荡电路、电荷转移电路、CDC电容转数字信号电路； 电荷迁移电路原理 以爱矽半导体科技的一款电容式触控传感架构为例
作者 | 陈新江 万达网络科技集团大数据中心 万达网络科技集团 是中国唯一的实业+互联网大型开放型平台公司，拥有飞凡信息、快钱支付、征信、网络信贷、大数据等公司，运用大数据、云计算、人工智能、场景应用等技术为实体产业实现数字化升级...万达网络科技集团的技术团队，建设和维护着一套实时风控平台。这套实时风控平台，承担着各种关键交易的在线风控数据的写入和查询服务。...实时风控平台后端的数据库系统在高性能，可靠性，可扩展性上有很高的要求，并且需要满足如下核心功能和业务要求： 风控相关业务数据实时入库 实时风控规则计算 通过 BI 工具分析风控历史数据 ETL 入库到...这些问题集中反映在以下几个方面：最终万达的技术团队，通过评估验证，选择了 TiDB 帮助他们实现一个高性能，高可靠性和高扩展能力的实时风控平台后台数据库系统。...在实时风控平台的高并发高性能的对外服务过程中，在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
云直播
对象存储
实时音视频
