摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...图四：实时风控规则配置业务逻辑简图 四、难点攻坚 针对规则模型的流式序列型数据，我们选择 Flink CEP 处理事件序列匹配，由于我们整个风控作业使用 Flink 实现，并且 Flink CEP 作为...图六：社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境，在此解决方案里未引入新的技术组件和编程语言，最大化复用 Flink 资源实现实时风控场景需求...后续钱大妈将和阿里云实时计算产品团队，继续共建完善基于 Flink 的实时风控风控解决方案，其中在 Flink CEP 的未来规划将围绕以下三个主要方向展开： Flink CEP 能力的进一步增强；
摘要：本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛，在 FFA 实时风控专场的分享。...01 Flink CEP 介绍&新功能解读 1.1 什么是 Flink CEP CEP 是复杂事件处理 Complex Event Processing 的缩写，而 Flink CEP 则是基于 Flink...1.2 Flink CEP 应用场景 在实际场景中，Flink CEP 基于 Flink 的分布式特性、毫秒级处理延迟以及自身丰富的规则表达能力有非常多的应用。...我们这里展示三个典型场景： 第一个场景，实时风控。...03 Flink CEP SQL 语法增强 3.1 Flink CEP SQL 简介 Flink CEP SQL 主要基于 SQL2016 标准中的行模式识别语句，将 Flink 流表，例如上图中的
这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下： ?...该系统有三条数据流向： 实时风控数据流，由红线标识，同步调用，为风控调用的核心链路； 准实时指标数据流，由蓝线标识，异步写入，为实时风控部分准备指标数据； 准实时/离线分析数据流，由绿线标识，异步写入，...2.1 实时风控 实时风控是整个系统的核心，被业务系统同步调用，完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整，所以我们会把风控判断部分与规则管理部分拆开。...Flink 把汇总的指标结果写入 Redis 或 Hbase，供实时风控系统查询。两者问题都不大，根据场景选择即可。...通过把数据计算和逻辑判断拆分开来并引入 Flink，我们的风控系统可以应对极大的用户规模。
目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。...主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用...风控系统要进行数据的合并。举个例子，当有一笔支付风控校验，支付BU只抛过来支付信息（支付金额、支付方式、订单号等）。...由于每个风控Event请求，都需要执行数百个规则，以及模型，这时，风控引擎引入了规则执行路径优化方法。
性能和复杂度可以兼得 携程的风控系统，和大部分第三方支付平台一样，也是以实时风控系统为主： 支付环节一般留给风控校验的时间不会超过1s，业务风控点上更是希望风控能在100ms内就能通过；对性能的追求，也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型，使模型也能和规则一样能直接拒绝交易；平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当，对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右，直到2015年正好赶上公司技术栈从.Net往Java平台转变，风控系统也迎来了一次完全的重写。...每天风控收集上来的数据超过50亿条，其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。...支撑风控系统的高可用、高性能，离不开强大的基础设施，下面我向大家展示一下携程风控的几个核心服务和组件： ? 风控引擎： ? 我们给他起了一个名字叫 Matrix，意思是像魔方一样灵活多变。
今年是 Flink Forward Asia（下文简称 FFA）落地中国的第五个年头，也是 Flink 成为 Apache 软件基金会顶级项目的第八年。...、实时风控、实时湖仓、数据集成等多个时下热门方向，分享 80+ 干货议题，带来一场专属于开发者的技术盛宴。...Flink 社区也把拓展适合流批一体的数据存储作为重点技术方向来推进，并在前不久发布了 Flink Table Store 0.2.0。...AI 特征工程 + 实时风控 AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。...实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。
实现代码及详细注释 2.1 Flink 基于流计算实现 WordCount 2.2 Flink 基于批计算实现 WordCount 2.3 附件：完整代码 先说一下我的环境： Flink 1.9...> org.apache.flink flink-streaming-scala_2.11</artifactId...实现代码及详细注释 2.1 Flink 基于流计算实现 WordCount 案例需求：采用 Netcat 数据源发送数据，使用Flink统计每个单词的数量 ?...2.3 附件：完整代码 package com.bigdataBC.flink import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment...import org.apache.flink.api.scala.
导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。
12月1日晚间，卓翼科技（002369.SZ）发布公告称，公司控股股东、实控人夏传武因涉嫌内幕交易、操纵证券市场罪，经深圳市中级人民法院批准，于12月1日被深圳市公安局执行逮捕。...资料显示，夏传武生于1973年，2004年起任职卓翼科技，2014年初成为卓翼科技实控人。而夏传武被抓主要以与2018年公司重组期间内幕交易有关。
目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。...图1 主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用...风控系统要进行数据的合并。 举个例子，当有一笔支付风控校验，支付BU只抛过来支付信息（支付金额、支付方式、订单号等）。...由于每个风控Event请求，都需要执行数百个规则，以及模型，这时，风控引擎引入了规则执行路径优化方法。
本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳，在 FFA 实时风控专场的分享。...本篇内容主要分为五个部分：实时风控业务会话会话关联的 Flink 实现HTAP 风控平台建设提升风控结果数据能效发展历程与展望未来图片众所周知，网易互娱的核心业务之一是线上互动娱乐应用服务，比如大家耳熟能详的梦幻西游...为了解决以上的问题，我们以 Flink 为计算引擎构建了一套实时风控平台，并为他起名为 Luna，下面我将为大家进行详细的介绍。...图片从还原业务会话到使用数据做 HTAP 实时风控平台的全过程，我们使用 Flink 消费原始数据，根据平台上提前配置好的分析模板，实时还原出业务会话。...未来我们希望，可以实时风控平台可以支持更多的功能。比如我们希望支持用 Flink-SQL 即席查询风控结果；用户反馈驱动的风控模型修正；结合 Flink-ML 挖掘更深层次数据价值。
本篇更新策略篇的规则集性能测算及Python实操，内容选自《100天风控专家》第57期。 首先介绍规则集的完整分析流程，包括五个步骤。 一、规则集分析流程 1....三、案例分析Python代码实操 通过配置决策树参数以及入模变量数量，自动化生成规则100多条，通过规则评估指标如命中率、精准率、召回率、lift进行初步筛选，组成为规则集进行初步的性能测试。...-end- 以上内容节选自《100天风控专家》从0到1的信贷风控训练营
陈建平，后台开发工程师，现就职于TEG安全平台部-业务安全中心，主要负责中心实时策略风控平台开发。...导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块：主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。
>flink-java ${flink.version} ...>flink-connector-hbase-2.2_${scala.binary.version} ${flink.version}...>flink-table-planner-blink_${scala.binary.version} ${flink.version}...>flink-csv ${flink.version} <!...org.apache.flink.table.api.TableEnvironment; import org.apache.flink.table.api.TableResult; import org.apache.flink.types.Row
一、Flink SQL层级 为Flink最高层的API，易于使用，所以应用更加广泛，eg. ETL、统计分析、实时报表、实时风控等。 Flink SQL所处的层级: ?...二、Flink聚合： 1、Window Aggregate 内置了三种常用的窗口： TUMBLE(time, INTERVAL '5' SECOND); //类似于flink 中间层 DataStream...API 中 window中的滚动窗口 HOP(time, INTERVAL '10' SECOND, INTERVAL '5' SECOND); //类似于flink 中间层 DataStream...项目代码设置： tEnv.getConfig().setIdleStateRetentionTime(org.apache.flink.api.common.time.Time.minutes(1),org.apache.flink.api.common.time.Time.minutes
此时的实时计算平台在客户关键时刻提醒 MOT、合规风控等场景开始应用起来。 然而平台运行不久，Storm 计算引擎开始暴露出一些问题。 1....公司一直倡导“合规风控至上”的经营理念，把风险管理文化建设作为公司发展战略的重要组成部分。...上图是实时风险监测应用场景的数据流图。数据源主要来自上游的业务数据库，包括客户的股份数据、负债数据、委托数据、交易数据、行情数据等等。...接下来为大家分享实时风险监测在实施过程中的难点。 1. 在性能的方面，由于实时风险监测涉及到客户的股票、债券、基金等多种标的的综合计算，导致计算量比较大，计算逻辑复杂。...利用 Flink CEP 强大的复杂事件处理能力，升级现有的 Data Stream 技术框架，并在风控、合规等场景推广使用。
摘要：本文整理自 XTransfer 资深 Java 开发工程师、Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲。...02 MongoDB CDC Connector 业务实践 XTransfer 成立于 2017 年，聚焦于 B2B 跨境支付业务，为从事跨境电商出口的中小微企业提供外贸收款以及风控服务。...跨境 B 类业务结算场景涉及的业务链路很长，从询盘到最终的成交，过程中涉及物流条款、支付条款等，需要在每个环节上做好风险管控，以符合跨境资金交易的监管要求。...实时风控 实时风控以往一般采取往 Kafka 中发业务事件的方式实现，而使用 Flink CDC 之后，可以直接从业务库中捕获风控事件，然后通过 Flink CDC 来进行复杂的事件处理。...可以运行模型，以通过 Flink ML、Alink 来丰富机器学习的能力。最后将这些实时风控的处置结果回落进 Kafka，下达风控指令。
前言： Apache Flink是一个开源流处理框架，具有强大的流处理和批处理功能。...Apache Flink 1.5.1引入了一个REST处理程序，允许您通过恶意修改的HTTP头将上传的文件写入到本地文件系统上的任意 影响版本： Flink 1.5.1-1.11.2 Fofa语句：...js_name="es2015-polyfills.923637a8e6d276e6f6df.js" 正文： 环境搭建： 使用vulhub搭建，搭建目录： /vulhub-master/flink/CVE...然后我们点击发送 这里返回虽然是400，但是我们已经成功传进去了 我们到靶机服务器中查看 先使用命令： docker-compose ps 查看文件名 复制文件名 cve-2020-17518-flink...-1 然后命令： docker exec -it cve-2020-17518-flink-1 bash 可以进入靶机的虚拟系统中，中间就是名字 这里我们就进入了靶机的虚拟系统中，可以执行一些命令了
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
