首页
学习
活动
专区
圈层
工具
发布
首页标签大数据

#大数据

腾讯云大数据解决方案,助力客户快速构建企业级数据架构,获取数据时代核心竞争优势

别再全量拉表了兄弟:一篇讲透增量数据处理与 CDC 的实战指南

Echo_Wish

很多团队现在的数据链路,看起来挺“现代化”:Kafka、Flink、Spark、数仓、BI,一个不落。但你要真扒开一看,底层还是在干一件事——每天定时全量拉表。

1000

Flink学习笔记:多流 Join

Jackeyzhe

前面我们已经了解了 Flink 几个核心概念,分别是时间、Watermark 已经窗口。今天我们来一起了解下 Flink 是怎么进行多个流的 Join 的。

3210

数据湖不是湖,是江湖:Delta Lake / Iceberg / Hudi 到底该选谁?

Echo_Wish

Echo,Delta、Iceberg、Hudi,我到底该用哪个? 现在不用是不是就“落后”了?

4900

Go语言金融级风控:天远全维度借贷数据的AES加密与结构体解析

天远数科

在实时信贷审批场景中,风控系统需要在极短的时间内(通常 < 200ms)做出决策。如果一个申请人当前存在信贷逾期或属于欺诈团伙成员,系统必须立即“熔断”流程,直...

7910

Node.js 金融中间件开发:天远全维度风控数据的AES解密与结构化清洗

天远云服

在现代金融 SaaS 平台或信贷管理后台的开发中,前端往往需要展示一个可视化的“借款人风险仪表盘”。然而,上游风控接口为了追求传输效率和扩展性,通常返回扁平化的...

6310

构建一站式风控中台:Java对接天远“多头+逾期+反欺诈”聚合接口实战

用户11892842

在构建企业级信贷审批系统(Loan Origination System, LOS)时,后端工程师常面临对接繁琐的问题:为了获取借款人的完整画像,往往需要分别调...

4310

Python金融风控实战:对接天远综合多头借贷API与全维度风险画像构建

用户11800419

在信贷风控领域,风控人员常常面临“数据孤岛”的困扰:查询多头借贷需要调一个接口,查询逾期黑名单需要调另一个接口,反欺诈又是第三个接口。这不仅增加了对接成本,也降...

4610

Flink学习笔记:窗口

Jackeyzhe

在前文中,我们已经了解了 Flink 时间和 Watermark 两个概念,今天就来聊一下 Flink 实时数据处理的另一个核心概念:窗口。

8000

Airflow 做 ETL,真不是“排个 DAG 就完事儿”:那些年我踩过的坑与悟出的道

Echo_Wish

大家好,我是 Echo_Wish,一个在大数据 ETL 世界里摸爬滚打多年、见过无数 Airflow“惨案”的人。

6200

统一修复、统一优化:qData 数据中台开源版引入商业版优化成果

吴同

随着商业版项目运行中暴露出更多高频场景问题,我们基于实际反馈完成了大量缺陷修复与体验优化。为保证两个版本的一致性,我们将所有稳定性增强项与界面优化同步至开源版,...

9910

Golang对接多头借贷行业风险版API:AES加密与结构体映射实战

用户11800419

在处理海量信贷申请(Loan Origination)时,风控系统需要极低的延迟和极高的吞吐量。传统的单一维度查询已不足以应对复杂的欺诈手段。“多头借贷行业风险...

7710

Node.js 金融风控开发:如何对接天远分行业多头借贷数据接口

天远数科

在现代金融科技架构中,Node.js 常驻于业务网关层,负责聚合数据并为前端提供响应。当用户在 APP 端发起借款申请时,网关层需要在毫秒级时间内判断用户的风险...

9310

构建银行级风控中台:Java集成天远数据分行业多头借贷接口全流程

天远云服

在银行核心信贷系统或消费金融的风控中台(Risk Decision Engine)构建中,单一的“黑名单”查询已无法满足差异化的客群经营需求。业务部门往往需要更...

5410

Python金融风控实战:对接天远多头借贷行业风险API与数据清洗策略

用户11892842

在互金与银行信贷业务中,“多头借贷”(Multi-Lending)往往是借款人资金链断裂的前兆。然而,传统的借贷次数统计已难以满足精细化风控的需求——借款人是在...

10210

别再把数据管道当“体力活”了:从单体任务到事件驱动的升级之路

Echo_Wish

很多公司到现在还在用“单体式任务管道”——Airflow 一堆 DAG、Shell 脚本一堆定时任务、Spark 每天凌晨 2 点准时开工……所有数据任务像一列...

8300

Flink学习笔记:时间与Watermark

Jackeyzhe

在前文中,我学习 Flink 的整体架构,接下来的几篇文章,我将重点学习一下 Flink 的几个核心概念。包括时间属性、Watermark、窗口、状态以及容错机...

8400

浙江头部城商行:每日 700 万查询、秒级响应,Apache Doris 查算分离架构破局资源冲突

SelectDB技术团队

在当前银行业务全面线上化、实时化的驱动下,浙江省头部城商行亟需构建一个能够同时承载海量数据加工与高并发实时查询的数据平台,以支撑精准营销、实时风控和智能决策等关...

200
领券