Calcite系列(五)：执行流程-概览

通用流程

SQL执行流程有一套通用的步骤，尽管具体的实现可能会因数据库系统的不同而有所差异，但流程相对固定。以下是通用的SQL处理流程：

1. 解析(Parsing)：词法解析与语法解析，将SQL语句转换为数据库系统内部表示，一般以抽象语法树(AST)表示，常用的前端编译器有ANTLR(如Hive、Spark、Presto使用)，JavaCC(如Calcite使用)；
2. 验证(Validation)：基于元数据提供Schema Catalog数据目录，对AST树遍历校验SQL有效性，并绑定节点信息等操作，例如，检查SQL中表和列是否存在。完成校验后，将AST抽象语法专转为逻辑计划树(LogicalPlan)。
3. 优化(Optimization)：基于逻辑计划树进行计划树优化。计划树优化可分为两种类型：
   1. 逻辑优化：基于关系代数理论进行逻辑优化，得到最优逻辑计划树
   2. 物理优化：基于执行要素(如表扫描方式、索引等)进行物理优化，得到最优物理计划树(PhysicalPlan)
4. 执行(Execution)：执行引擎基于最优物理计划完成查询操作，计算结果并返回

Calcite流程

Calcite的SQL执行流程也是基于通用框架扩展实现的，可分为如下五个步骤：

1. 语法解析：基于SqlParser解析器将SQL语句解析为SqlNode抽象语法树(AST)
2. 合法性校验：基于SqlValidator校验器和元数据Schema信息校验SqlNode语法树的合法性
3. 计划树构建：构建出基于关系代数表达的逻辑计划树RelNode，方式一. 基于RelBuilder API调用构建；方式二：基于SqlToRelConverter将SqlNode转换为 RelNode计划树
4. 优化器优化：基于RelOptPlanner优化器进行计划树优化，包括逻辑优化与物理优化，内置RBO优化器和CBO优化器
5. 计划树执行：基于优化后的RelNode进行执行计算并返回计算结果

其中，第4步计划树优化是整个执行流程的最核心和复杂模块，后续文章将针对各个步骤进行详细阐述。

在执行过程中，Calcite的对象变换过程所图所示，最终Planner优化器通过RelOptPlanner#findBestExp 调用方法搜索最佳计划树，目前Calcite内置的优化器有两种：

• HepPlanner：基于RBO规则的heuristic启发式优化器
• VolcanoPlanner：基于CBO代价的的动态规划优化器

我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！