数据湖计算 DLC 引擎内核动态-公告与动态-文档中心-腾讯云

您可以通过引擎详细页面的“内核管理”根据操作时间可以判断当前所属版本（或者查看当前引擎的详细版本），辅助您判断当前引擎是否支持哪些功能，或者存在哪些已经发现的风险点。
﻿
﻿
﻿
SuperSQL 1.0 vs SuperSQL 3.5 或 Spark 3.2 vs Spark 3.5兼容性
为了方便您评估从 SuperSQL 1.0 升级到 SuperSQL 3.5，或者从 Spark 3.2 升级到 Spark 3.5，这里整理了两个版本之间目前已知的一些可能影响较大的差异点，方便您评估是否可以平滑升级。
可以参考 Spark3.2 升级到 Spark3.5.1 的详细差异：https://spark.apache.org/docs/latest/sql-migration-guide.html﻿
类别
差异点
SuperSQL 1.0 / Spark 3.2
SuperSQL 3.5 / Spark 3.5
社区行为
SQL 算子
涉及到 sort 相关的算子，例如 order by
2023.10月及以前版本默认为 nulls last
2023.11月及以后版本默认为 nulls first
默认为 nulls first
2024.8月及以后的版本支持通过参数配置
配置项：spark.dlc.extensions.scope=null_order_rules,functions。开启 null_order 可配置
spark.sql.defaultSortNullOrdering=nullsLast。指定null顺序
社区行为为 nulls first
SQL 函数
to_char 函数
2023.12月及以前版本不支持
2023.12月及以后版本支持数字格式转换，拓展了时间格式转换（即date_format 函数功能）
支持数字格式转换，拓展了时间格式转换。可修改spark.dlc.extensions.scope=functions（默认开启）为 none 使用社区函数。
社区仅支持数字格式转换
UI
Session 级参数展示
无法从 UI 里查看 Session 级参数
可以从 SQL DataFrame 页面查看当前任务执行时的 Session 级参数
﻿
2024-09-26
引擎类型
内核版本（大版本）
内核版本 ID（仅列出北上广地域）
更新描述
标准引擎
Standard-S 1.1
(Spark 3.5内核）
无
新版本，相比于 Standard-S 1.0 升级 Spark 内核，并支持以下功能：
1、支持联邦 Doris 读写；
2、修复 Mysql 升级后无法联邦的问题；
3、增加 data mask 函数；
4、spark ui 支持北极星，并修复ui oom问题；
5、支持配置 Create 语句默认表格式为Iceberg；
6、修复 function 扩展配置失效的问题；
7、新增优化规则（ConvertInnerToSemiJoins/AggregatePushDownThroughJoins/EliminateInnerJoinWithAgg）；
8、修复 DateDiff 函数无法支持 codegen 问题；
9、删除 committer 相关配置；
10、修复 polaris 导致任务执行完成后无法关闭、启动慢的问题；
11、删除 iceberg-hive-runtime 包；
12、kyuubi 相关：支持 timestamp_ntz 类型、jupyter 连接标准引擎失败问题修复、更新kyuubi 监听器。
SuperSQL
SuperSQL 1.0
广州：4dc13fd6-e1ea-41d6-8a6e-cafb55d4be7f
上海：0721c3db-1454-4b7b-aac2-c0b990cc1dee
北京：30f39b17-aa8b-40c9-9a1b-39b819bb32d4
1、支持联邦 Doris 读写；
2、修复 Mysql 升级后无法联邦的问题；
3、增加 datamask 函数；
4、修复 t265 迭代存在 Iceberg 内存泄露问题；
5、修复 DateDiff 函数无法支持 codegen 问题；
6、删除 committer 相关配置。
﻿
SuperSQL 3.5
广州：be7e4afe-ba87-42e1-bdfb-cb5c7e372825
上海：7be45a56-5b00-44ba-bb12-7f26fb5ee217
北京：d281ccaf-cae5-4a11-82c7-dfc5e4ea95ef
﻿
1、支持联邦 Doris 读写；
2、修复 Mysql 升级后无法联邦的问题；
3、增加 datamask 函数；
4、修复 t265 迭代存在 Iceberg 内存泄露问题；
5、修复 DateDiff 函数无法支持 codegen 问题；
6、删除 committer 相关配置。
Spark
3.2
广州：4967a9a4-642f-4c3a-b04e-78c28381811a
上海：faaf9906-7e9d-4c7d-9d70-77080f7837ed
北京：de9e946b-c271-481a-93a0-b963dfd4ebc6
1、支持联邦 Doris 读写；
2、修复 Mysql 升级后无法联邦的问题；
3、增加 datamask 函数；
4、修复 t265 迭代存在 Iceberg 内存泄露问题；
5、修复 DateDiff 函数无法支持 codegen 问题；
6、删除 committer 相关配置。
﻿
3.5
广州：81eaa585-0c68-46da-b3aa-d1c7d0067776
上海：2b99949e-b347-46d6-80f6-8d8cfbab0351
北京：2fdb3b08-07bf-49ee-a9fd-aa5bb2ae3ae3
1、支持联邦 Doris 读写；
2、修复 Mysql 升级后无法联邦的问题；
3、增加 datamask 函数；
4、修复 t265 迭代存在 Iceberg 内存泄露问题；
5、修复 DateDiff 函数无法支持 codegen 问题；
6、删除 committer 相关配置。
2024-08-15
引擎类型
内核版本（大版本）
内核版本 ID（仅列出北上广地域）
更新描述
SuperSQL
SuperSQL 1.0
北京：6483c7f7-8b0e-42e5-84c7-431a8c402c77
上海：c8cdcc18-e424-4ea0-ba68-1d4f6eec774c
广州：f405a51b-1bc3-47df-adb5-a2aa6bcb0e9e
1、实现 Spark hive write 全局 Repartition，支持小文件合并；
2、sort nullOrder可参数配置；
3、修复查询重名列与 unionall 一起使用存在数据错误问题；
4、新增 hive iceberg runtime 依赖包；
﻿
SuperSQL 3.5
北京：f17b701e-3e8e-4a5a-8d3c-26acd3c702bd
上海：8778b043-980b-4dae-8b33-aca10128e972
广州：fe541a8f-d923-4254-b7c0-1babe33a5d37
1、实现 Spark hive write 全局 Repartition，支持小文件合并；
2、sort nullOrder 可参数配置；
3、修复查询重名列与 unionall 一起使用存在数据错误问题；
4、新增 hive iceberg runtime 依赖包；
Spark
3.2
北京：25e2f5ee-b459-4775-be0d-10541c147a74
上海：de76ad64-b014-427f-9c40-27c8677ac445
广州：69a0cfd0-f2db-450d-a7b6-0eb05a8f47c8
1、实现 Spark hive write 全局 Repartition，支持小文件合并；
2、sort nullOrder 可参数配置；
3、修复查询重名列与 unionall 一起使用存在数据错误问题；
4、新增 hive iceberg runtime 依赖包；
﻿
3.5
北京：705f2381-2b77-4b53-be41-189bad99bca6
上海：e7f2c886-5f3b-4b99-8385-daedf81ec758
广州：66834c28-855a-4bb6-8419-e7c73ebcc73c
1、实现 Spark hive write 全局 Repartition，支持小文件合并；
2、sort nullOrder 可参数配置；
3、修复查询重名列与 unionall 一起使用存在数据错误问题；
4、新增 hive iceberg runtime 依赖包；
2024-07-17
影响范围：全地域更新
引擎类型
内核版本（大版本）
内核版本 ID（仅列出北上广地域）
更新描述
SuperSQL
SuperSQL 1.0
北京：8d983ad5-08c3-4252-b2ca-fb76e31342af
上海：8b00d420-3514-4b2d-94be-69bda8f145bd
广州：f2a18e86-c69c-48d9-a402-775f4a9c629a
1、升级 hadoop-cos 到8.3.9，修复 cos 普通桶读取可能导致任务卡住的问题。
2、默认打开洞察的事件采集。
﻿
SuperSQL 3.5
北京：f5e50777-944b-4c2a-bf65-f378e875dff1
上海：56589b24-2f80-4a19-89e7-fd8fd147daae
广州：abbbe6c9-cbc8-476d-ae70-38832cee30be
1、升级 hadoop-cos 到8.3.9，修复 cos 普通桶读取可能导致任务卡住的问题。
2、修复联邦默认 hive catalog 配置的问题。
3、默认打开洞察的事件采集。
﻿
SuperSQL 1.0(native)
北京：97b2549f-fbac-4d96-8ee1-339462501b74
上海：b8ddcea6-cab9-4e95-951c-807f1cff7264
广州：2db4fe5b-b8ed-4f2d-a4a1-093bd38f7f9f
1、腾讯云 Meson 高性能引擎-DLC 向量化引擎上线发布。
Spark
3.2
北京：b81c1132-0580-4b9d-bb51-419e97369d9e
上海：0e240454-1949-40ed-8d68-da4536dcaa36
广州：d5b4e0c7-9d01-4169-9d93-3b458f81bec7
1、升级 hadoop-cos 到8.3.9，修复 cos 普通桶读取可能导致任务卡住的问题。
2、新增配置 Spark 镜像缓存。
3、默认打开洞察的事件采集。
﻿
3.5
北京：1348aa41-9d72-43a6-a656-4f58c59b2692
上海：c451fcac-448c-4f1f-908e-ecb80950eb95
广州：cd161662-24b2-468f-9500-7a87ac438381
1、升级 hadoop-cos 到8.3.9，修复 cos 普通桶读取可能导致任务卡住的问题。
2、修复联邦默认 hivecatalog 配置和DataLakeCatalog 默认配置错误的问题。
3、新增配置镜像缓存。
4、默认打开洞察的事件采集。
﻿
3.2(native)
北京：2ec4dd72-3155-4fe3-8e26-5a92e1f2dcf1
上海：6326c41a-2769-44ac-844e-cd4bb35ab2ca
广州：7d94f905-c3b7-4026-9e8a-374e8559a759
1、腾讯云 Meson 高性能引擎-DLC 向量化引擎上线发布。
2024-06-28
影响范围：全地域更新
引擎类型
内核版本（大版本）
内核版本 ID
功能更新
SuperSQL
SuperSQL 1.0
北京：1736ea7f-3273-44ac-a89e-e3f2003e53f7
上海：9a7c84e7-e26e-4e99-92d6-9ce1eefc7a32
广州：cd161662-24b2-468f-9500-7a87ac438381
1、升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。【更新：该版本有其他风险，建议升级】
2、添加 Driver 启动后第一次连接 livy 时的重试机制，避免集群因网络问题启动时间过长。
3、优化 Livy 心跳上报的逻辑。
4、优化 Livy 日志打印。
﻿
SuperSQL 3.5
北京：200dabe0-f73d-460e-ac1d-fc2058708b55
上海：3c7256e6-9c16-4009-9592-542ef9358624
广州：564f51a5-16f3-4008-9790-1525c9f9d554
1、升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。【更新：该版本有其他风险，建议升级】
2、添加 Driver 启动后第一次连接livy时的重试机制，避免集群因网络问题启动时间过长。
3、优化 Livy 心跳上报的逻辑。
4、优化 Livy 日志打印。
Spark
3.2
北京：cf230dfc-869d-4cca-8f89-3c7351741414
上海：5e6c2ffc-eb89-48ac-8116-b7baeab31ff5
广州：35bd1c97-62cb-4a06-9517-266258c4e20f
1、升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。【更新：该版本有其他风险，建议升级】
2、添加 Driver 启动后第一次连接 livy 时的重试机制，避免集群因网络问题启动时间过长。
3、优化 Livy 心跳上报的逻辑。
4、优化 Livy 日志打印。
﻿
3.5
北京：68f53306-99a4-4cc3-8c00-220231d6e814
上海：c228ac12-2805-4159-9ba6-fcfbf770484c
广州：d5442892-8edf-4263-a488-1de6c6cbf3aa
1、升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。【更新：该版本有其他风险，建议升级】
2、添加 Driver 启动后第一次连接 livy 时的重试机制，避免集群因网络问题启动时间过长。
3、优化 Livy 心跳上报的逻辑。
4、优化 Livy 日志打印。
2024-06-19
影响范围：全地域更新
引擎类型
内核版本（大版本）
内核版本 ID
功能更新
SuperSQL
SuperSQL 1.0
北京：0f971b94-a55d-43e3-9144-e9b0e24c18dc
上海：cb150c67-5125-45c1-9022-1bb3e110e6fe
广州：cd161662-24b2-468f-9500-7a87ac438381
1、修复 Drop iceberg table 时提示表类型错误的BUG。
2、增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制，统一交由控制台控制。
﻿
SuperSQL 3.5
北京：f365495d-0e24-471b-a201-348424b6e68f
上海：b38ea2cc-13c7-47d9-8b4d-4cfea85fffe2
广州：fffabbd0-5afc-46d5-bc57-657eab1791ce
1、修复 Drop iceberg table 时提示表类型错误的BUG。
2、增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制，统一交由控制台控制。
3、新增 Python UDF 的支持。
Spark
3.2
北京：6a51eeb6-8b4c-43c2-9d64-564c969988ba
上海：de408265-8e5a-4b62-953f-31137d12e80d
广州：4643d213-4749-4826-a7fe-bb615788a52e
1、修复 Drop iceberg table 时提示表类型错误的BUG。
2、增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制，统一交由控制台控制。
﻿
3.5
北京：b2e6e9bb-94ec-483b-8cda-d144da56744f
上海：1c5f2784-a4d3-40f6-8e09-ded1069257ea
广州：94a1d024-157d-420e-bc9a-693b89eb7d5c
1、修复 Drop iceberg table 时提示表类型错误的BUG。
2、增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制，统一交由控制台控制。
3、新增 Python UDF 的支持。
﻿

类别	差异点	SuperSQL 1.0 / Spark 3.2	SuperSQL 3.5 / Spark 3.5	社区行为
SQL 算子	涉及到 sort 相关的算子，例如 order by	2023.10月及以前版本默认为 nulls last 2023.11月及以后版本默认为 nulls first	默认为 nulls first 2024.8月及以后的版本支持通过参数配置配置项：spark.dlc.extensions.scope=null_order_rules,functions。开启 null_order 可配置 spark.sql.defaultSortNullOrdering=nullsLast。指定null顺序	社区行为为 nulls first
SQL 函数	to_char 函数	2023.12月及以前版本不支持 2023.12月及以后版本支持数字格式转换，拓展了时间格式转换（即date_format 函数功能）	支持数字格式转换，拓展了时间格式转换。可修改spark.dlc.extensions.scope=functions（默认开启）为 none 使用社区函数。	社区仅支持数字格式转换
UI	Session 级参数展示	无法从 UI 里查看 Session 级参数	可以从 SQL DataFrame 页面查看当前任务执行时的 Session 级参数

引擎类型	内核版本（大版本）	内核版本 ID（仅列出北上广地域）	更新描述
标准引擎	Standard-S 1.1 (Spark 3.5内核）	无	新版本，相比于 Standard-S 1.0 升级 Spark 内核，并支持以下功能： 1、支持联邦 Doris 读写； 2、修复 Mysql 升级后无法联邦的问题； 3、增加 data mask 函数； 4、spark ui 支持北极星，并修复ui oom问题； 5、支持配置 Create 语句默认表格式为Iceberg； 6、修复 function 扩展配置失效的问题； 7、新增优化规则（ConvertInnerToSemiJoins/AggregatePushDownThroughJoins/EliminateInnerJoinWithAgg）； 8、修复 DateDiff 函数无法支持 codegen 问题； 9、删除 committer 相关配置； 10、修复 polaris 导致任务执行完成后无法关闭、启动慢的问题； 11、删除 iceberg-hive-runtime 包； 12、kyuubi 相关：支持 timestamp_ntz 类型、jupyter 连接标准引擎失败问题修复、更新kyuubi 监听器。
SuperSQL	SuperSQL 1.0	广州：4dc13fd6-e1ea-41d6-8a6e-cafb55d4be7f 上海：0721c3db-1454-4b7b-aac2-c0b990cc1dee 北京：30f39b17-aa8b-40c9-9a1b-39b819bb32d4	1、支持联邦 Doris 读写； 2、修复 Mysql 升级后无法联邦的问题； 3、增加 datamask 函数； 4、修复 t265 迭代存在 Iceberg 内存泄露问题； 5、修复 DateDiff 函数无法支持 codegen 问题； 6、删除 committer 相关配置。
SuperSQL		SuperSQL 3.5	广州：be7e4afe-ba87-42e1-bdfb-cb5c7e372825 上海：7be45a56-5b00-44ba-bb12-7f26fb5ee217 北京：d281ccaf-cae5-4a11-82c7-dfc5e4ea95ef	1、支持联邦 Doris 读写； 2、修复 Mysql 升级后无法联邦的问题； 3、增加 datamask 函数； 4、修复 t265 迭代存在 Iceberg 内存泄露问题； 5、修复 DateDiff 函数无法支持 codegen 问题； 6、删除 committer 相关配置。
Spark	3.2	广州：4967a9a4-642f-4c3a-b04e-78c28381811a 上海：faaf9906-7e9d-4c7d-9d70-77080f7837ed 北京：de9e946b-c271-481a-93a0-b963dfd4ebc6	1、支持联邦 Doris 读写； 2、修复 Mysql 升级后无法联邦的问题； 3、增加 datamask 函数； 4、修复 t265 迭代存在 Iceberg 内存泄露问题； 5、修复 DateDiff 函数无法支持 codegen 问题； 6、删除 committer 相关配置。
Spark		3.5	广州：81eaa585-0c68-46da-b3aa-d1c7d0067776 上海：2b99949e-b347-46d6-80f6-8d8cfbab0351 北京：2fdb3b08-07bf-49ee-a9fd-aa5bb2ae3ae3	1、支持联邦 Doris 读写； 2、修复 Mysql 升级后无法联邦的问题； 3、增加 datamask 函数； 4、修复 t265 迭代存在 Iceberg 内存泄露问题； 5、修复 DateDiff 函数无法支持 codegen 问题； 6、删除 committer 相关配置。

引擎类型	内核版本（大版本）	内核版本 ID	功能更新
SuperSQL	SuperSQL 1.0	北京：1736ea7f-3273-44ac-a89e-e3f2003e53f7 上海：9a7c84e7-e26e-4e99-92d6-9ce1eefc7a32 广州：cd161662-24b2-468f-9500-7a87ac438381	1、升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。【更新：该版本有其他风险，建议升级】 2、添加 Driver 启动后第一次连接 livy 时的重试机制，避免集群因网络问题启动时间过长。 3、优化 Livy 心跳上报的逻辑。 4、优化 Livy 日志打印。
SuperSQL		SuperSQL 3.5	北京：200dabe0-f73d-460e-ac1d-fc2058708b55 上海：3c7256e6-9c16-4009-9592-542ef9358624 广州：564f51a5-16f3-4008-9790-1525c9f9d554	1、升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。【更新：该版本有其他风险，建议升级】 2、添加 Driver 启动后第一次连接livy时的重试机制，避免集群因网络问题启动时间过长。 3、优化 Livy 心跳上报的逻辑。 4、优化 Livy 日志打印。
Spark	3.2	北京：cf230dfc-869d-4cca-8f89-3c7351741414 上海：5e6c2ffc-eb89-48ac-8116-b7baeab31ff5 广州：35bd1c97-62cb-4a06-9517-266258c4e20f	1、升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。【更新：该版本有其他风险，建议升级】 2、添加 Driver 启动后第一次连接 livy 时的重试机制，避免集群因网络问题启动时间过长。 3、优化 Livy 心跳上报的逻辑。 4、优化 Livy 日志打印。
Spark		3.5	北京：68f53306-99a4-4cc3-8c00-220231d6e814 上海：c228ac12-2805-4159-9ba6-fcfbf770484c 广州：d5442892-8edf-4263-a488-1de6c6cbf3aa	1、升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。【更新：该版本有其他风险，建议升级】 2、添加 Driver 启动后第一次连接 livy 时的重试机制，避免集群因网络问题启动时间过长。 3、优化 Livy 心跳上报的逻辑。 4、优化 Livy 日志打印。

引擎内核动态

本页目录：

SuperSQL 1.0 vs SuperSQL 3.5 或 Spark 3.2 vs Spark 3.5兼容性

2024-09-26

2024-08-15

2024-07-17

2024-06-28

2024-06-19

﻿