首页
学习
活动
专区
圈层
工具
发布

#flink

从零开始学Flink:数据源

用户4160816

在实时数据处理场景中,数据源(Source)是整个数据处理流程的起点。Flink作为流批一体的计算框架,提供了丰富的Source接口支持,其中通过Kafka获取...

16510

从零开始学Flink:揭开实时计算的神秘面纱

用户4160816

当你在电商平台秒杀商品时,1毫秒的延迟可能导致交易失败;当自动驾驶汽车遇到障碍物时,10毫秒的计算延迟可能酿成事故。这些场景揭示了一个残酷事实:数据的价值随时间...

33310

从零开始学Flink:开启实时计算的魔法之旅

用户4160816

在凌晨三点的数据监控大屏前,某电商平台的技术负责人突然发现一个异常波动:支付成功率骤降15%。传统的数据仓库此时还在沉睡,而基于Flink搭建的实时风控系统早已...

22910

从零开始学Flink:数据转换的艺术

用户4160816

在实时数据处理流程中,数据转换(Transformation)是连接数据源与输出结果的桥梁,也是体现计算逻辑的核心环节。Flink提供了丰富的数据转换操作,让开...

11410

从Samza到Flink:Java实现数据流转换

贺公子之数据科学与艺术

摘要:本文将介绍如何使用Java语言实现将数据流从Samza转换为Flink的过程。通过使用Flink的丰富功能和优化技术,我们可以轻松处理大规模数据流,并实现...

14210

如何用scala实现Flink内置的增量聚合函数(incremental aggregation function)?

贺公子之数据科学与艺术

在上面的示例中,MyAggregateFunction类继承了AggregateFunction抽象类,并实现了其中的四个方法:createAccumulato...

12510

HBase高级特性与生态整合:揭秘Flink实时数仓中的CDC日志同步方案

用户6320865

随着数字化转型的全面深入,数据已成为驱动企业决策和业务创新的核心要素。据IDC最新报告显示,2025年全球实时数据处理市场规模预计突破千亿美元,年复合增长率高达...

38910

flink 1.11.2 学习笔记(2)-Source/Transform/Sink

菩提树下的杨过

携程 | 软件技术专家 (已认证)

从上一节wordcount的示例可以看到,flink的处理过程分为下面3个步骤:

11910

惊呆了!Doris x Flink x AI 让SQL直接调用ChatGPT,数据分析进入AI时代

一臻数据

❝夜深之时,在技术群里,看到一个有趣的对话: "哥,听说你们公司换了数据库?之前不是用CK吗?" "别提了,CK虽然快,但是运维太复杂。现在用Apache D...

20110

从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路

SelectDB技术团队

Flink-Doris-Connector 作为 Apache Flink 与 Doris 之间的桥梁,打通了实时数据同步、维表关联与高效写入的关键链路。本文将...

39900

Kafka与Flink打造流式数据采集方案:以二手房信息为例

jackcode

近年来,国内多个城市的存量房市场呈现出波动频繁、挂牌量上升但成交周期拉长的结构性特征。特别是在一线与强二线城市中,房源更新节奏加快,用户浏览行为活跃,价格异动更...

20310

快速搭建一套实时数仓演示环境

苏奕嘉

昨晚在直播的结束时刻,我说尽快会给大家一份通过 Docker 快速搭建部署一套演示环境的 Demo 文章示例,那么本篇就应昨天的承诺,给大家来一篇简单、高效、可...

10000

换一个思路思考问题,可能Flink问题就迎刃而解了

睡前大数据

1、我提议,先看下sls支不支持 条件下推,提前在sls端过滤一部分数据后再flink消费。ps 虽然我之前在阿里混了一段时间,但是我是真不记得这个了。哈哈

7110

中间件系列:4 探索 Flink:大数据实时处理的得力框架

李福春

Flink 翻译过来有 “灵活的”“敏捷的” 意思,在大数据领域,它指的是 Apache Flink 流处理框架。官方定义是在数据流上进行有状态计算的分布式处理...

26710

中间件系列:3 flink安装和测试

李福春

官方定义: Apache Flink 是一个在数据流上进行有状态计算的分布式处理引擎和框架。

39110

微服务治理-在接口服务监控预警和心跳检测中引入Flink思考

人月聊IT

今天重点是谈下开源流处理框架Flink的使用场景,而实际的问题背景则是在SOA和微服务治理中,基于原有的服务监控预计,服务心跳检测等场景驱动,有引入该框架的必要...

13410

Flink HA(1) —— zookeeper 在 flink 中的应用

Flink 实战演练

JobManager 高可用(HA)模式加强了 Flink 集群防止 JobManager 故障的能力。 此特性确保 Flink 集群将始终持续执行你提交的作业...

18810

南方政务行业Flink写入大规模ES集群(100节点)故障问题定位解决

用户9421738

春节前期南方政务某现场搭建了大规模100节点ES集群。最近开始上线新业务流程:FlinkCDC将业务数据库日志写入Kafka,然后Flink消费Kafka数据写...

12510

Flink对数据延迟的解决方案!

JavaEdge

一系列数据(Data-5, Data-4, Data-1, Data-3, Data-2)按一定顺序排列。

21900
领券