亲爱的社区小伙伴们，**Apache Doris 4.0.2 版本已正式发布。**此版本新增了在 AI & Search、函数、物化视图、Lakehouse 等方面的功能，并同步进行了多项优化改进及问题修复，欢迎下载体验！

## 新增功能

### AI & Search

- 倒排索引支持自定义分析器，包含拼音分词器和拼音过滤器
- 倒排索引的搜索函数新增多位置短语查询（PhraseQuery）支持
- 新增 ANN 索引仅扫描能力

### 函数

- 新增 `sem` 聚合函数
- 支持源自 Hive 的 `factorial`简单 SQL 函数
- 部分正则表达式函数新增零宽断言支持
- JSON 类型支持 GROUP BY 和 DISTINCT 操作
- 新增 add/sub_time 时间函数
- 新增 deduplicate_map 函数

### 物化视图

- 非分区基表数据变更时，物化视图仍可参与透明查询重写
- 创建 MTMV 支持基于视图创建
- MTMV 刷新支持多 PCT 表
- 物化视图包含窗口函数时，支持窗口函数重写

### Lakehouse

- 新增 Doris Catalog，该功能允许用户通过 Catalog 能力关联多个独立的 Doris 集群并进行高效的联邦数据查询。解决 Doris 集群间数据无法关联查询的问题。
- 支持通过 rewrite_data_files 方法对 Iceberg 表进行 compaction 操作。该操作允许用户对 Iceberg 小文件进行合并，从而优化读取效率。
- 支持通过 WARM UP 语句对 Hive、Iceberg、Paimon 等外部表数据进行缓存预热。
- 支持通过 ALTER 语句对 Iceberg 表进行 Partition Evolution 操作。
- 支持 HTTP Table Valued Function，支持通过 Table Valued Function 直接读取 HTTP 资源文件。
- 支持直接访问 Huggingface 上的数据集。
- 支持通过 Iceberg REST Catalog 协议访问 Microsoft OneLake。
- 支持直接映射 Hive、Iceberg、Paimon、JDBC 外表中的 binary 类型到 Doris 的 varbinary 类型。请参阅各 Catalog 文档的【列映射】小节。

## 优化改进

- 优化 `FROM_UNIXTIME` 函数性能
- 移除 PartitionKey 比较中的 `castTo`转换操作，提升分区处理效率
- 降低 Catalog 中 Column 类的内存占用
- Ann 索引训练前累积多个小批次数据，提升训练效率
- 升级 Hadoop 依赖到 3.4.2 版本
- 优化 FE 和 BE 的优雅退出机制，降低节点退出对查询的影响
- 优化对包含大量分区的 hive 表的写入的效率
- 优化 Paimon 表 Split 占用内存过大的问题
- 优化对 Parquet RLE_DICTIONARY 编码的读取效率
- 优化 FE 和 BE 的优雅退出机制，降低节点退出对查询的影响

## 问题修复

### 查询

- 修复输入为 null 时 `utc_time` 函数返回结果错误的问题
- 修复 UNION ALL 结合 TVF 时抛出异常的问题
- 修复唯一键表创建物化视图时，WHERE 子句包含非键列的问题
- 修复 window 函数：LAG/LEAD 偏移参数支持常量表达式计算
- 修复聚合函数：可空列投影前下推聚合操作异常；非空列 count 下推聚合问题
- 修复时间函数：second/microsecond 函数未处理时间字面量；time_to_sec 处理 null 值时因垃圾值报错
- 修复 AI 函数：_exec_plan_fragment_impl 调用 AI 函数时出现未知错误
- 修复地理信息：geo 模块内存泄漏
- 修复 information_schema：偏移时区格式不兼容

### 物化视图与模式变更

- 修复物化视图包含分组集合和扫描过滤器时重写失败的问题
- 修复大流量模式变更时读取单行集非重叠段导致的 coredump 问题

### 存算分离

- 修复 TopN 查询中广播远程读取的问题
- 修复云环境下删除 tablet 任务堆积的问题
- 修复云环境首次启动时服务上线耗时过长的问题

### Lakehouse

- 修复某些情况下，Hive 分区变更导致元数据缓存不一致的问题
- 修复写入 TIMESTAMP 类型分区的 Iceberg 表错误的问题
- 修复 Paimon 表 Incremental Read 行为和 Spark 不一致的问题
- 修复某些情况下，外表元数据缓存可能导致的死锁问题
- 修复 BE 端 s3 client 线程数不合理导致的 IO 吞吐低的问题
- 修复某些情况，写入存储在非 S3 对象存储上的外表时失败的问题
- 修复某些情况下，使用 query() 进行 JDBC Catalog SQL 透传失败的问题
- 修复 JNI Reader 时间统计导致读取性能下降的问题
- 修复 BE 侧 jni.log 无法打印的问题

### 其他

- 修复在非 Master 阶段 UNSET GLOBAL 变量时错误的问题
- 修复某些情况下，异常的 export 任务无法取消的问题

亲爱的社区小伙伴们，Apache Doris 4.0.2 版本已正式发布。此版本新增了在 AI & Search、函数、物化视图、Lakehouse 等方面的功能，并同步进行了多项优化改进及问题修复，欢迎下载体验！

Apache Doris 4.0.2 版本正式发布

云计算

数据库

大数据

Apache Doris 4.0.2版本重磅发布，新增AI&Search、函数、物化视图和Lakehouse等多项功能。支持倒排索引自定义分析器、ANN索引扫描、JSON类型GROUP BY操作等特性，优化FROM_UNIXTIME性能并修复多项问题。DorisCatalog实现多集群联邦查询，支持Iceberg表compaction和Huggingface数据集访问，提升数据处理效率。

对象存储

数据缓存

Hadoop 

Spark 

JSON

Hive

AI驱动 智领未来

tchoused

对象存储COS新用户低至1元！


文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Apache Doris 4.0.2版本重磅发布，新增AI&Search、函数、物化视图和Lakehouse等多项功能。支持倒排索引自定义分析器、ANN索引扫描、JSON类型GROUP BY操作等特性，优化FROM_UNIXTIME性能并修复多项问题。DorisCatalog实现多集群联邦查询，支持Iceberg表co...

Apache Doris 4.0.2 版本正式发布-腾讯云开发者社区-腾讯云

Apache Doris 4.0.2 版本正式发布

Apache Doris 4.0.2 版本正式发布

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐