DLC 根据不同应用场景提供了不同的内核版本,并针对内核做了大量的特性和性能优化,内核版本一览如下所示。
如果您的场景主要为交互式查询,推荐使用 Presto 引擎和 SparkSQL 引擎和最新的内核版本。
如果您的场景主要使用批作业,推荐使用 Spark 作业引擎和 Spark3.2 内核版本。
引擎类型 | 内核版本 | 说明 |
Presto | SuperSQL-P 1.0 | 基于原生 Presto 0.242 版本实现,在此基础上支持动态加载数据源、Dymanic Filter 增强、 Iceberg V2 表、非分区表的 INSERT OVERWRITE、支持执行 Hive UDF。 |
SparkSQL | SuperSQL-S 1.0 | 基于原生 Spark3.2 版本实现,在此基础上支持 Iceberg 1.1.0、Hudi 0.12.0、自适应 Shuffle Manager。 |
| SuperSQL-S 1.0(Native) | 基于原生 Spark3.2 版本实现,在此基础上支持 Iceberg 1.1.0。当前版本为 beta 版本,使用腾讯云 Meson Engine 提供的 Native 运行时环境,使用向量化等技术加速 SQL 类应用执行性能,在部分场景性能较 SuperSQL 1.0 版本可带来 2 倍以上性能提升。 |
| SuperSQL-S 3.5 | 基于原生 Spark3.5 版本实现,在此基础上支持 Iceberg 1.5.0、自适应 Shuffle Manager。 当前版本为 beta 版本,在部分场景性能较 SuperSQL 1.0 版本有33%以上的性能提升。 |
SparkBatch | Spark 3.5 | 基于原生 Spark3.5 版本实现,在此基础上支持 Iceberg 1.5.0、Python3、自适应 Shuffle Manager。 当前版本为 beta 版本,在部分场景性能较 Spark 3.2 有33%以上的性能提升。 |
| Spark 3.2 | 基于原生 Spark3.2 版本实现,在此基础上支持 Iceberg 1.1.0、Hudi 0.12.0、Python3,支持自适应 Shuffle Manager。 |
| Spark 3.2(Native) | 基于原生 Spark3.2 版本实现,在此基础上支持 Iceberg 1.1.0。当前版本为 beta 版本,使用腾讯云 Meson Engine 提供的 Native 运行时环境,通过向量化等技术加速 SQL 类应用执行性能,在部分场景性能较 Spark 3.2 可带来 2 倍以上性能提升。 |
| Spark 2.4 | 基于原生 Spark2.4 版本实现,在此基础上支持 Iceberg 0.13.1、Python2、Python3。 |