摘要：从 Local 本地调试到 YARN 生产集群、Kubernetes 云原生部署，系统讲解 Spark 五大运行模式的架构原理、配置方法、适用场景和模式选...

摘要：深入 RDD 源码级五大特性（Partitions、Compute、Dependency、Partitioner、PreferredLocations），...

摘要：系统拆解 Spark 全部 Transformation 算子——按 map/filter 类、聚合类、连接类、分区类、集合类五大分类，逐个剖析语法、依赖...

摘要：系统拆解 Spark 全部 Transformation 算子——按 map/filter 类、聚合类、连接类、分区类、集合类五大分类，逐个剖析语法、依赖...

摘要：系统拆解 Spark 全部 Action 算子——按输出类、存储类、聚合类、统计类四大分类，逐个剖析语法、底层原理、Driver/Executor 数据流...

摘要：系统拆解 Spark 全部 Action 算子——按输出类、存储类、聚合类、统计类四大分类，逐个剖析语法、底层原理、Driver/Executor 数据流...

这不是引擎笨，是它的文件布局从出生那天起就冲着顺序扫描去的，一次把一整列从头读到尾的吞吐。

九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...

8 月 26 日，AWS 在大数据官方博客上挂了一篇公告，标题起得跟联欢会似的，《AWS and DuckLabs: Building the future o...

　　数据落到对象存储，组织成 Iceberg 表，再由 Spark、Flink 等计算引擎读写。相比直接管理大量文件，Schema、Snapshot、分区和表版...

九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...

一条 join 落在集群上，可能走四种完全不同的算法，代价差出一个量级甚至更多。选哪一种的不是你，是 Spark 自己，依据是它手里那份统计信息。统计信息大概率...

每次有人问我 Muse 为什么能替人办事，我都会先纠正一个误区：它靠的不是一个大模型，而是一整套「模型 + 云端虚拟机 + 安全哨兵」的系统。用一句话概括工作原...

随着数据平台需要接入的数据源类型和数据处理任务也在持续增多。在实际的数据集成场景中，不同任务对执行引擎的要求并不相同。

本文是一篇关于Apache DolphinScheduler 在实际项目中的应用实战笔记，包含 DolphinScheduler 执行 SQL 或存储过程、调用...

导读：当 AI Agent 从“能对话”进入“能执行任务”的生产阶段，企业数据平台面对的已不只是新增一种应用形态，而是数据形态、计算资源、训练范式和开发方式的同...

摘要： 将 Spark 批处理任务迁移到 Kubernetes 容器平台，可显著提升资源利用率并降低总体拥有成本。本文介绍基于 TKE 的 Spark 容器化方...