starzy

文章/答案/技术大牛

发布

LV4

发表了文章 10小时前2026-11-03 16:28:01

Spark 核心之 Spark-SortShufflebypass 原理深度剖析

摘要：BypassMergeSortShuffle 是 SortShuffleManager 提供的最轻量 Shuffle Write 路径——它绕过排序、绕过...

starzy 10小时前2026-11-03 16:28:01

spark、大数据

发表了文章 18小时前2026-11-03 08:37:29

SparkSQL 之 Json 格式数据转 DataSet 代码实现

摘要：JSON 是数据工程中最常见的半结构化格式，如何高效地将 JSON 转为类型安全的 Dataset[CaseClass]？本文从 spark.read.j...

starzy 18小时前2026-11-03 08:37:29

spark、大数据

发表了文章 1天前2026-11-02 20:28:08

Spark 核心之 Spark-SortShuffle 原理深度剖析

摘要：Shuffle 是 Spark 作业中最昂贵的操作，也是性能瓶颈的高发区。Spark 2.0 起 SortShuffleManager 成为唯一的默认实现...

starzy 1天前2026-11-02 20:28:08

spark、大数据

发表了文章 1天前2026-11-02 09:35:14

Spark 核心之二次排序、分组取 TopN 优化分析

摘要：为什么你的分组 TopN 任务跑了 30 分钟还 OOM？答案通常是四个字——groupByKey。本文将二次排序和分组 TopN 作为两条优化主线，从反...

starzy 1天前2026-11-02 09:35:14

spark、大数据

发表了文章 2天前2026-11-01 13:40:33

Spark 核心之 MasterHA 高可用原理及配置详解

摘要：Spark Standalone 集群的 Master 节点是资源调度的核心，一旦宕机整个集群陷入瘫痪。Master HA 通过 ZooKeeper 实现...

starzy 2天前2026-11-01 13:40:33

spark、大数据

发表了文章 4天前2026-10-30 17:42:10

Spark 核心之自定义累加器以及版本对比变化深度剖析

摘要：Spark 1.x 的 Accumulator 接口存在严重设计缺陷：类型单调（IN=OUT）、无法自定义扩展、内置实现仅 4 种。Spark 2.0 引...

starzy 4天前2026-10-30 17:42:10

spark、大数据

发表了文章 4天前2026-10-30 15:24:34

Spark 核心之任务调度角色划分以及资源调度角色划分详解

摘要：为什么 DAGScheduler 从不关心集群用的是 Standalone 还是 YARN？为什么 Master 从不关心 DAG 怎么切？这背后是 Sp...

starzy 4天前2026-10-30 15:24:34

spark、大数据

发表了文章 4天前2026-10-30 08:33:18

Spark 核心之 DAG 有向无环图原理分析

摘要：你是否注意过 Spark UI 上的 "DAG Visualization" 图？那个有向无环图（DAG）不是凭空生成的——它是 Spark 从你写的每一...

starzy 4天前2026-10-30 08:33:18

spark、大数据

发表了文章 5天前2026-10-29 20:00:13

Spark 核心之 Worker 原理剖析

摘要：Spark Worker 是 Standalone 集群中每台节点上的"大管家"。它负责向 Master 注册签到、每 15 秒发送心跳、接收 Maste...

starzy 5天前2026-10-29 20:00:13

大数据、spark

发表了文章 5天前2026-10-29 15:51:57

Spark 核心之 Stage 切分划分与计算模式详解

摘要：DAGScheduler 拿到 finalRDD 后，如何一步步回溯出完整的 Stage DAG？为什么 Stage 内部可以 Pipeline 执行而 ...

starzy 5天前2026-10-29 15:51:57

spark、大数据

发表了文章 5天前2026-10-29 14:19:30

一文讲透DataNode：数据到底怎么存在机器上

很多人学 HDFS，注意力全在 NameNode 上——它是 Master、是大脑、是命门。可你有没有想过一个问题：一个 10GB 的文件，客户端读取时，Nam...

starzy 5天前2026-10-29 14:19:30

大数据、hadoop、hdfs

发表了文章 5天前2026-10-29 09:51:50

一文讲透SecondaryNameNode：检查点到底做什么

一个几百台机器的 HDFS 集群，NameNode 宕机了。有人很镇定地说："别急，不是还有个 SecondaryNameNode 吗，它会顶上。"结果集群迟迟...

starzy 5天前2026-10-29 09:51:50

hadoop、大数据、hdfs

发表了文章 5天前2026-10-29 09:41:38

一文讲透NameNode：HDFS的大脑到底管什么

一个几百台机器的集群，NameNode 一宕机，整个文件系统立刻不可读写——DataNode 明明还在转，为什么谁都找不到数据？HDFS 的命门，为什么偏偏集中...

starzy 5天前2026-10-29 09:41:38

hadoop、大数据、hdfs

订阅了专栏 5天前2026-10-29 09:39:52

AI 技术

AI 技术分享

1 文章1 订阅数

加入了专栏 5天前2026-10-29 09:39:52

AI 技术

AI 技术分享

1 文章1 订阅数

创建了专栏 5天前2026-10-29 09:39:52

AI 技术

AI 技术分享

1 文章1 订阅数

发表了文章 6天前2026-10-28 14:58:19

一文讲透HDFS主从架构：NameNode、DataNode与检查点

上一篇我们建立了 HDFS 的整体印象：Block 切分、三副本、主从架构。但不少同学合上文章还是会问：NameNode 到底把元数据放在哪？重启一次为什么那么...

starzy 6天前2026-10-28 14:58:19

hadoop、大数据

发表了文章 6天前2026-10-28 14:01:32

HDFS简介：从块、副本到主从架构，一篇讲透

很多人第一次接触 HDFS 时都有同样的困惑：它是个"分布式文件系统"，却不能随便改文件、不支持多线程同时写、还特别怕小文件。这些反直觉的"缺点"，恰恰是理解它...

starzy 6天前2026-10-28 14:01:32

大数据、hadoop

发表了文章 6天前2026-10-28 13:56:42

Hadoop介绍总结：一张图理清组件、生态与版本

很多人学完 Hadoop 介绍章，脑子里反而更乱了：HDFS、YARN、MapReduce、Hive、HBase、Zookeeper、Flume、CDH、HDP...

starzy 6天前2026-10-28 13:56:42

hadoop、大数据

发表了文章 7天前2026-10-27 08:26:18

一文讲透Hadoop四大核心优势

面对 TB、PB 级数据，垂直扩容为什么是死路？Hadoop 用一组普通机器给出了答案。本文从 HDFS、YARN、MapReduce 三大组件出发，讲透 Ha...

starzy 7天前2026-10-27 08:26:18

hadoop

12 3 4 5 下一页

个人简介

暂未填写公司和职称
专注 AI Agent · LangGraph · RAG · 大数据架构 · 数据工程实践,持续探索 AI 与数据技术的融合创新
暂未填写技能专长
暂未填写学校和专业
https://blog.starzy.cn/
天津
加入社区时间：2018-06-28

个人成就

获得 59 次赞同
文章被阅读 8.6K 次

关注了：0关注者：12

starzy

Spark 核心之 Spark-SortShufflebypass 原理深度剖析

SparkSQL 之 Json 格式数据转 DataSet 代码实现

Spark 核心之 Spark-SortShuffle 原理深度剖析

Spark 核心之二次排序、分组取 TopN 优化分析

Spark 核心之 MasterHA 高可用原理及配置详解

Spark 核心之自定义累加器以及版本对比变化深度剖析

Spark 核心之任务调度角色划分以及资源调度角色划分详解

Spark 核心之 DAG 有向无环图原理分析

Spark 核心之 Worker 原理剖析

Spark 核心之 Stage 切分划分与计算模式详解

一文讲透DataNode：数据到底怎么存在机器上

一文讲透SecondaryNameNode：检查点到底做什么

一文讲透NameNode：HDFS的大脑到底管什么

AI 技术

AI 技术

AI 技术

一文讲透HDFS主从架构：NameNode、DataNode与检查点

HDFS简介：从块、副本到主从架构，一篇讲透

Hadoop介绍总结：一张图理清组件、生态与版本

一文讲透Hadoop四大核心优势

个人简介

个人成就

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐