论Oracle兼容性，我们需要做什么

作者介绍：王海峰，数据库系统架构师，YashanDB SQL 开发负责人，10 年以上数据库内核技术开发经验。

Oracle 兼容性是目前国产数据库的关键任务之一，其直接影响到商业迁移的成本和竞争力。

我们经常发现，部分国产数据库声称与 Oracle 兼容性高达 90%，但在实际迁移过程中，仍需要频繁地修改业务应用的代码。为何实现与 Oracle 高兼容度的数据库产品如此困难？其中一个重要原因是 Oracle 兼容性不仅是模仿，而是一个非常复杂和工程量庞大的逆向工程。其技术实现的复杂性以及多如牛毛的细节，足以让多数“年轻”的数据库团队望洋兴叹。

YashanDB 作为一款从核心理论到关键系统均为原创的数据库产品，从构建初期就具备了技术优势，在 Oracle 兼容性实现上，敢于亮剑并充分发挥工匠精神，不断打磨，努力构筑一个真正形神兼备的数据库产品。以下将从 YashanDB SQL 引擎技术、Oracle 兼容性的开发原则等方面，阐述 YashanDB 如何解决 Oracle 兼容性的开发难题以及如何实现与 Oracle 的原生兼容。

强可扩展性的自主 SQL 引擎

SQL 的本质在于理解用户编写 SQL 语句的意图，将其转成高效执行计划，然后操作和管理数据库执行要求的算子，返回对应结果集。其过程需要实现编译、优化、执行 3 步曲。

图 1 SQL 3 步曲

对于 YashanDB 的 SQL 引擎来说，为了快速实现 Oracle 兼容性，从架构实现上采取了有效的方法：通过对 SQL 语法、函数、数据类型、存储过程语法、高级包、优化规则、执行算子等各个维度进行抽象和归纳，在 SQL 引擎的各个功能阶段提供功能注册点。由于全链路的代码都是自主研发，我们可以在框架内通过扩展功能注册点来快速添加各种兼容性功能，对于部分涉及调整框架的需求，也能够确保整个架构的稳定性。

图 2 YashanDB SQL 引擎关键技术

解析器（LAXER/PARSER）：YashanDB 全新实现了词法解析器和语法解释器，通过对注册关键字的定界，精准地生成符合查询语义的抽象语法树。语法树以高效的表达式符号作为基本组成单元，为后续环节提供输入。不同于其他数据库，YashanDB 没有采用开源组件进行抽象语法树的编译，主要从语法支持的灵活度、语法编译生成语法树的高效性以及开发者开发和调试的易用性等角度考虑。

优化器（OPTIMIZER）：YashanDB 的 SQL 引擎为了达到极致性能，同时支持了行列两类算子分别满足低时延短事务和大数据查询场景的差异化需求。在优化器方面，我们面临着一个更具挑战性的任务：需要实现面向差异化代价模型的行列混合评估、行列统一的并行优化框架以及面向特定模型的动态优化规则。由于没有现成的道路可走，我们选择自主研发，为 YashanDB 打造一款适合高速查询优化的优化器。

高效的执行引擎（EXECUTOR）：YashanDB 同时涵盖了低时延段事务的 TP 场景和海量数据查询的 AP 场景，所以火山、向量化、并行化的执行引擎技术应运而生。

Oracle 已经建立了一套成熟且卓越的技术体系，要想做到完全兼容，不仅需要投入大量的人力、物力和时间，还需要深入理解其内部运作原理和实现细节。以 Oracle 19c 为例，在 SQL 层主要功能罗列如下：

• 语法和常见功能函数；
• 结构化数据类型；
• JSON、XML 等半结构化数据及功能；
• 查询加速提升，如 OLAP、并行处理、结果集缓存等；
• 如 UDT、高级包、存储过程、触发器等各种高级特性；
• 安全、加密和审计；
• 工具生态上大量的衍生工具和中间件等。

数据库是一个极其复杂的软件工程产品，不能简单地视为一个无需调整即可直接复用的通用组件。时至今日，SQL 标准仍在不断发展，ISO/IEC 9075:2023 等新标准不断涌现。对于国产数据库厂商而言，在 Oracle 兼容方面需保持务实的态度，将重点放在核心功能的实现上，对其保持高度的兼容性与稳定性。正是因为自主研发打造的 SQL 引擎，我们不仅能够在 Oracle 兼容性方面持续追求全面兼容的目标，更重要的是可以将我们的创新理论更好地融入到 SQL 架构中，将有界计算、向量化、多模等技术天然融合、持续演进。

YashanDB 从设计之初，就定下 Oracle 全面兼容的目标。目前已从四个层面实现了高度的 Oracle 兼容性：

• 语法兼容层面：目前主流的 DQL、DML、HINT 语法、PL/SQL 语法已全面兼容；
• 语义兼容层面：SQL 语义保持一致，包含语法对应的语义实现、对象管理和事务处理等；
• 高级特性兼容层面：1）PL/SQL 对象如存储过程、UDF、UDP、触发器、JOB 等全面兼容；2）JSON、GIS 等新型数据类型功能兼容，提供等价替换方案；3）安全、加密和审计全面兼容；4）查询加速提升能力同步构建；
• 生态兼容层面：提供 AWR/RMAN/开发者工具等能力。

图 3 Oracle 四层生态兼容

Oracle 兼容性的开发原则

下面将以语法兼容层面的数据类型、SQL 语法功能、部分高级特性角度，详细阐述 YashanDB 在 Oracle 兼容性上面临的挑战和应对的开发原则。

数据类型

数据类型兼容方面，YashanDB 与 Oracle 高度兼容，其功能表现差异很小，主要包含数值类型组、字符串类型组、时间类型组和其他类型：

数值类型组：Oracle 几乎所有数值类型均使用 NUMBER 来实现，为了应对这一挑战，YashanDB 实现了一个极其高效的 NUMBER 类型，用户在 Oracle 数据库上定义的数值类型可以无缝迁移到 YashanDB。此外，为了进一步提高存取和计算效率，YashanDB 增加了各种 C 语言原生类型，如 TINYINT、BIGINT、FLOAT、DOUBLE 等，在表字段设计上可以提供更多灵活的选择，如果原生类型可以满足用户的表字段设计，那么建议调整为原生类型；

字符串类型组：精心打造 CHAR、VARCHAR、NCHAR、NVARCHAR 等各类字符串类型，追求细节层面的功能表现。在字符串类型规格、运算能力、隐式转换能力、空串表达以及字符集支持等各方面均做到易用、易理解、易维护的较高水准。YashanDB 始终坚持既定的功能设计原则，以易于接受和理解的方式设计产品的功能表现。

• 实例 1：Oracle 的 VARCHAR 类型必须通过配置字符串的 EXTEND 模式才可以将 VARCHAR 扩展到 32K，否则规格只有 4K；YashanDB 的 VARCHAR 类型直接支持提供最大规格；
• 实例 2：空串和 NULL 的等价处理上，Oracle 的主体规则是空串视为 NULL，但在少量表达式处理上，存在一些细节上的差异，这个差异有可能是历史兼容或者 BUG 导致的；YashanDB 目前坚持空串按 NULL 处理；
• 实例 3：关注字符串类型转换时由于字符集不同带来的技术挑战。

图 4 不同字符集的技术挑战

时间类型组：当前 YashanDB 提供了 DATE、TIMESTAMP、YM-INTERVAL、DS-INTERVAL 等类型用于满足迁移和设计要求。在该特性开发上，面临的技术挑战主要是时间类型的格式符处理非常灵活和不同场景下时间类型的优化选择；

二进制数据和大对象数据：随着信息系统的发展，对二进制数据和大对象数据的需求也日益增长，YashanDB 在二进制类型、CLOB/BLOB/NCLOB 等大对象类型做了大力的开发。在这些数据类型上，针对性地开发了查询加速结构、函数运算和空间管理等特性，以提升对象存取和运算效率。

图 5 LOB 类型的技术细节

此外，在数据库预置的数据类型基础上，提供了 UDT 自定义类型便于用户灵活的指定和扩展。YashanDB 的 UDT 可以用于 PL/SQL 语言中，也可以直接作为表的列字段类型形成嵌套表。

图 6 UDT 类型的技术挑战

SQL 语法能力和内置功能

Oracle 兼容性的主体部分是最广为人知的 SQL 语法能力和内置功能。以 Oracle 12C 为例，SQL 语句主要是以 SQL:2011 核心，YashanDB 已基本实现了这个层级的 SQL 语法语义兼容。

SQL 语法功能实现上，YashanDB 的 DML/DQL 已经包括运算符、FILTER、内连接、外连接、半连接、反半连接、分组、聚合、排序、集合、层次查询、子查询等能力，用户在 Oracle 上实现的 SQL 语句，几乎可以不用调整直接在 YashanDB 上运行。我们严格遵循语法语义要求，在语义获取上不断地比对 Oracle、DB2、PostgreSQL、MySQL 等数据库的功能表现，以确保生成严谨的、经得起推敲的产品。同时内部通过混沌测试工程，不断构造非法或者复杂的 SQL 语句进行测试。

内置功能方面，我们也在不断丰富和扩展，例如字符串函数、数学函数、时间函数、窗口函数等，这些都是出厂阶段数据库携带的内置功能特性，可以极大地扩展各数据类型的运算能力。在 DDL 层面，YashanDB 已经实现普通表、分区表、临时表、全局索引、函数索引、系统视图、物化视图、序列和同义词等常见功能。

高级特性

数据库的高级特性往往涉及到较高的技术挑战，如 UDF(用户自定义函数)、JAVA UDF、C UDF、存储过程、高级包、UDT、触发器、JOB、DBLINK 等。我们在借鉴 Oracle 已有实现能力基础上，追寻技术上的自主独立，寻求符合 YashanDB 技术架构落地的方案，从功能特性的细节角度，提炼并遵循了一系列的实现原则。

JAVA UDF 方案：Oracle 为了实现这一特性，直接将 JVM 集成到内核中；由于 Oracle 采用多进程架构，一旦用户编写的 UDF 存在异常，影响范围有限，可以重新启动进程。然而，由于 YashanDB 采用多线程架构，一旦用户要运行的代码出现异常，对我们来说是毁灭性的冲击。所以，我们需要设计一个沙箱进程，由该进程负责拉起 JVM 执行用户 UDF。虽然这种架构会需要如协议交互和进程管理的额外工作，但对于实现技术路线的自主性和独立性是必要的。

PL/SQL 语言的功能：这是 Oracle 绑定很多用户应用的锁链，为了降低用户应用迁移成本，YashanDB 实现了大部分的 PL/SQL 语句，如声明、赋值、控制、跳转、循环、游标处理、SQL 语句、动态 SQL 以及异常处理等。同时提供了全面的过程体对象，如存储过程、UDP、UDT、触发器等供用户使用。以 UDT 自定义类型为例，YashanDB 提供了 RECORD、OBJECT、VARRAY、NESTED TABLE 多种形态，支持方法的声明、支持将嵌套表形态。近期在某基金的核心交易处理系统中，完美地解决 NESTED TABLE 变量参与 BULK 导入的业务移植功能。随着应用场景的不断丰富和复杂化，存储过程的功能也将不断完善和优化。

DBLINK 功能：YashanDB 提供了从 YashanDB 到 YashanDB，YashanDB 到 Oracle，Oracle 到 YashanDB 的远端访问和事务能力，在这个功能点上，存在很多技术细节需要攻克，如异构数据库间数据类型、字符集的映射，计划和表达式如何进行远端下推，复杂 SQL 的拆分，远端事务管理，复杂 DML 语句联动等。

图 7 DBLINK

除了 SQL 功能角度，YashanDB 还从以下方面完善 Oracle 兼容性要求，包含统计信息，收集基于列的统计和直方图信息；计划优化规则；常用字符集支持，UTF8、GBK、UTF16、18030 等常见字符集支持；安全、审计与加密；导入导出工具支持；JDBC/ODBC 驱动等。由于文章篇幅原因，将不一一展开讲解，敬请期待后续的系列技术文章。

写在最后

在过去的几十年时间里，Oracle 数据库凭借出色的产品能力与硬核的技术实力始终处于领先地位，使得国内诸多关键行业的企业级应用深度依赖 Oracle。

数据库和应用的不兼容，会导致用户需要付出极大的迁移成本，带来的直接后果就是难以形成规模化复制。面对业务的痛点与需求，YashanDB 坚定选择 Oracle 的高度兼容性，以最大程度降低应用迁移的成本与风险，助力用户真正降本提质增效。在实现 Oracle 兼容性的目标上，我们以这些方法努力探索：

1. 特性对标。寻求适合我们技术架构的落地方案；
2. 提炼实现原则。从功能特性角度，摸清实现细节，从细节中提炼特性的实现原则；
3. 兼容不是抄袭、不能盲从。甄别 Oracle 的特性规格和特性实现 BUG；在 YashanDB 开发过程不断汇总实现细节上的典型案例，同时编写开发指导文档提供用户避免踩坑；
4. 预留扩展路线，为后续技术竞争力落地做好铺垫。

我们将始终以用户需求为导向，以技术创新为驱动力，在真实场景中反复打磨锤炼，持续完善兼容性能力，助力用户实现国产数据库平滑迁移。