Spark 3.0 新特性抢先看

记得 Databricks 研发工程师王耿亮老师去年在分享 Spark 新特性议题的时候，稍微透露了一些 关于 Spark 3.0 版本特性的内容，但具体的性能细节可以关注今年 ASF 和 Apache Spark PMC 最终的发布信息。这里做一些简单的介绍，具体技术细节请关注9月11日深圳站ArchSummit全球架构师峰会演讲。

Accelerator-aware Scheduler

作为 Project Hydrogen 的延续，在 Spark 3.0版本里支持 GPU Aware Scheduling 调度，广泛用于加速特定应用，比如深度学习等。

自适应查询优化

这是Databricks 和 Intel 中国团队在做的项目（SPARK-31412），基于已完成的执行计划节点的统计数据，优化剩余的查询执行计划，它能够支持：动态合并小的 partition减少 Reducer 的数量；将 Sort Merge Join 转换为 Broadcast Hash Join；动态分割相对比较大的 partition从而更好地处理数据倾斜。以下图为例：

这是一个典型的 Spark 任意操作过程，读取两个文件，而使用 Adaptive Execution 方法之后，将 Sort Merge Join 转换为 Broadcast Hash Join，性能也有了很大的提升。

Data Source API V2

发布 Data Source API，其设计比较合理，性能更稳定，批处理和流处理使用统一的 API。其背后的历史原因是，第一个版本的 Data Source API 在实现 Data Source 过程中不是很方便，后来做了 FileFormat。但是流处理的时候又使用另一套 API。所以社区花了很多时间把 API 都整合起来，并且增加了新的 Catalog plugin API(SPARK-31121)。

Apache Spark 3.0 其他目标：

1. 支持 JDK 11
2. 动态分区剪枝 (SPARK-11150)
3. Redesigned pandas UDFs with type hints (SPARK-28264)

• 支持 Hadoop 3.x • Hive execution 从 1.2.1 升级至 2.3.7 • Scala 2.12 GA • 更加遵从 ANSI compliance • Structured Steaming UI

Pandas DataFrame vs Spark DataFrame

很多数据科学家之前在学数据分析的时候使用 Python 的 Pandas，但是真正到了生产环境，Pandas 只能运行在一台机器上，而且是单线程，性能和可扩展性有限。这个时候需要转到 Spark，但是受到 API 区别，所以会有一些局限。

但是后来开源了 Koalas，目标是使用 Pandas API 可以直接运行在 Spark，能够支持数据科学家更好的无缝迁移到 Spark。