首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Spark SQL(七):AQE自适应查询执行(下)

Spark SQL(七):AQE自适应查询执行(下)

作者头像
Yiwenwu
发布2026-02-04 20:04:00
发布2026-02-04 20:04:00
2110
举报
概述
本文分为两部分:1. Spark AQE基础背景介绍:ShufflePartitionSpec;2. AQE自适应能力概述
文章被收录于专栏:大数据&分布式大数据&分布式

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 基础背景:ShufflePartitionSpec
  • 自适应核心能力
    • 1. Join选择优化
      • 1.1. SortMergeJoin → BroadcastHashJoin
      • 1.2. SortMergeJoin → ShuffleHashJoin
      • 1.3. BroadcastHashJoin → SortMergeJoin
    • 2. Shuffle读优化
      • 2.1. 合并分区
      • 2.2. 本地读优化
      • 2.3. Join倾斜优化
      • 2.4. Rebalance倾斜优化
    • 3. 其他特性
      • 3.1. Dynamic partition pruning
      • 3.2. 空关系优化
      • 3.3. 单行数据优化
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档