“作业反压了”——这句话不包含任何诊断信息。反压是结果，不是原因。本文在常见讲解之外补上三块认知拼图——三个指标的测量语义（busy 为什么不等于 CPU）、瓶...

作业提交后迟迟不 RUNNING，日志停在 “Waiting for slots”；或者 TaskManager 故障后整个作业全量重启、恢复时间远超预期——这...

调大 taskmanager.memory.process.size 之后作业反而被 OOMKilled，堆内存明明还有富余却报了 Direct buffer ...

“Flink 保证 Exactly-Once”——这句话在技术方案里出现的频率极高，但它的真实含义经常被误读。Flink 内部的 Exactly-Once 和端...

Flink 的状态管理是它区别于“无状态流处理框架”的核心能力，但多数人对它的理解停留在“用 ValueState 存个值”的 API 层面。这篇文章要回答三个...

Watermark 是 Flink 事件时间处理的核心机制，但多数人对它的理解停留在“设置一个延迟时间”的层面。这篇文章要回答的不是“Watermark 怎么用...

从“把旧库数据搬到新库”，到全量快照、实时增量、配置映射、业务派生和目标补号。用已经落地的 Java 代码，复盘一次 Flink CDC 与 Docker 的久...

最近在搞数据实时同步的活，把Oracle的业务数据实时同步到StarRocks给分析用。用的Flink最新版本flink-1.20。

RocksDB 是 LSM 树，memtable 刷盘变成 SST，SST 一旦写完就不再改。

Paimon 做了一件别的湖格式不太敢做的事，它把 RocksDB 那套 LSM 树整个搬进了湖里。

这不是引擎笨，是它的文件布局从出生那天起就冲着顺序扫描去的，一次把一整列从头读到尾的吞吐。

九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...

前面讲了 Flink CheckPoint 的优化和参数详解，CheckPoint 的本质是状态的持久化，而状态存在内存中——内存才是 Flink 生产环境中最...

前面讲了 Flink CheckPoint 的优化和参数详解，CheckPoint 的本质是状态的持久化，而状态存在内存中——内存才是 Flink 生产环境中最...

8 月 26 日，AWS 在大数据官方博客上挂了一篇公告，标题起得跟联欢会似的，《AWS and DuckLabs: Building the future o...

　　数据落到对象存储，组织成 Iceberg 表，再由 Spark、Flink 等计算引擎读写。相比直接管理大量文件，Schema、Snapshot、分区和表版...

九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...

一条 join 落在集群上，可能走四种完全不同的算法，代价差出一个量级甚至更多。选哪一种的不是你，是 Spark 自己，依据是它手里那份统计信息。统计信息大概率...