DLC 的数据引擎是 DLC 的数据分析计算服务的基础,用户在 DLC 进行的所有计算都需要使用数据引擎。根据用户的使用场景不同,可选择对应的引擎类型。
引擎类型
DLC 中提供2种数据引擎类型供用户选择:标准引擎和 SuperSQL 引擎,两类引擎核心区别是支持的 SQL 语法不同。其中标准引擎使用社区原生的 Spark 及 Presto 语法;SuperSQL 引擎支持 DLC 自研的统一语法,即同一套 SuperSQL 语法可在 Spark 及 Presto 引擎运行,屏蔽引擎间语法差异,在需联合使用不同分析引擎的业务场景下可显著降低使用成本。两类引擎主要特点及选购建议如下:
引擎类型 | 可选类型 | 主要特点 | 使用约束 | 选购建议 |
标准引擎 | Spark Presto | 原生语法:Spark/Presto 社区原生语法,学习、迁移成本低 使用灵活:支持 Hive JDBC 及 Presto JDBC 一体化 Spark:标准 Spark 引擎可执行 SQL及 Spark 批任务 | 1. 需使用 Spark/Presto 原生语 2. 希望购买一个 Spark 引擎完成批作业及离线 SQL 任务 3. 希望使用 Hive JDBC 及Presto JDBC | |
SuperSQL 引擎 | SparkSQL Spark 作业
Presto | 统一语法:同一套语法适用于 Spark 及 Presto 引擎 支持联邦查询 | 需学习 SuperSQL 统一语法
SQL/批任务场景建议购买对应类型引擎 | 1. 希望使用 Spark + Presto 统一语法 2. 需要使用联邦查询 |
标准引擎和 SuperSQL 引擎详细对比
功能 | 标准引擎 | SuperSQL 引擎 | 说明 |
presto | ✓ | ✓ | 两类引擎均支持 presto 引擎。 |
spark | ✓ | ✓ | SuperSQL 引擎分为 SparkSQL 和 Spark 作业类型,其中 SparkSQL 引擎支持 SQL 作业,Spark 作业引擎支持 Spark 批流作业和 SQL 作业;标准引擎为一体化 Spark 引擎。 |
原生语法 | 统一语法 | 标准引擎支持 spark 及 presto 原生语法。 SuperSQL 引擎支持 DLC 自研的统一语法。 | |
✓ | DLC 基于 Apche Kyuubi 自研的 Serverless 接入点服务,提供了更稳定、更安全及更高性能的任务提交体验。 | ||
✓ | 资源组是标准 Spark 引擎特有的队列功能,通过资源组可将标准引擎资源进行按需划分,SQL 任务可以提交到指定的资源组执行。 | ||
共享引擎 | ✓ | SupersSQL 引擎支持共享模式,适合分析频率低、计算数据量较小的场景使用。 | |
✓ | 标准引擎支持使用 Hive JDBC 提交任务。 | ||
✓ | 标准引擎支持使用 Presto JDBC 提交任务。 | ||
✓ | ✓ | 两类引擎均支持使用 DLC JDBC 提交任务。 | |
云 API 提交任务 | ✓ | ✓ | 两类引擎均支持使用云 API 提交任务或者在控制台数据探索页面提交任务。 |
联邦查询 | ✓ |
引擎定价
约束限制
数据引擎的名称全局唯一且无法修改。
不支持切换数据引擎的计费模式。
数据引擎不支持切换地域。