数据湖是一个集中式存储池,可对接多种数据源,无缝对接各种计算分析和机器学习平台
随着 AI Agent、RAG 和多模态 AI 的发展,企业数据架构正在面临新的挑战。
摘要:立项会上被问"迁过去能省多少钱",最怕的回答是"官方案例说省 80%"——那是别人的负载结构,套不到自己身上。这篇把 Apache Doris 公开客户案...
大数据平台加密与计算安全的工程实现:从数据湖分层加密、列级 Parquet/ORC 适配到 UDF 内加解密与 TEE 计算过程保护 摘要:大数据平台加密与计...
腾讯科技 | 研究员 (已认证)
本手册概述了腾讯云对象存储产品与行业解决方案。面对非结构化数据增长与AI训练效率瓶颈,腾讯云基于自研YottaStore引擎提供百EB级统一存储底座,结合数据湖...
导读:Apache Doris 5.0 多模湖仓预告(8)|技术解析篇:本文介绍了 Apache Doris 与 Lance 结合实现的关键优化——延迟物化(L...
作者|陈明雨,Apache Doris PMC Chair导读:Apache Doris 5.0 多模湖仓预告(6)|场景方案篇:实时分析如何同时兼顾最新事件、...
数据落到对象存储,组织成 Iceberg 表,再由 Spark、Flink 等计算引擎读写。相比直接管理大量文件,Schema、Snapshot、分区和表版...
一张原本只用于分析查询的主题表,最开始可能只有一个报表在用。后来脚本、任务陆续接上来,等再准备改字段时,往往要先确认还有谁在用。一条临时验证的 SQL 也可...
一张表已经很少有人查询,任务还在每天跑。一个专题结束了,相关数据还在持续更新。准备调整一个字段,往下查才发现几个报表和接口都直接依赖它。
这几年再看 OLAP 数据库,一个比较明显的变化是,大家讨论的问题已经和几年前不太一样了。
分析型数据库的性能比较,最终还是要回到真实 Query 和实际运行数据。我们基于 Apache Doris 4.2 与 StarRocks 4.1.1,在相同计...
腾讯云TDP | 产品KOL (已认证)
数据湖看似强大,但实际使用中容易踩坑。本文分享真实经验,探讨如何避免数据湖带来的麻烦。
导读:Apache Doris 5.0 多模湖仓预告(3)|生产实践篇:快手在生产环境用 Apache Doris 直接查询 Apache Paimon 表上的...
作者|李文强,Apache Doris PMC 成员、SelectDB 多模湖仓负责人
过去十多年,数据平台主要围绕结构化表与 SQL 建设:把数据汇聚到数仓,通过稳定的批处理和 OLAP 查询支撑报表与经营分析。
2026 年,全球用于 AI 工作负载的对象存储采购量同比增长 75%,对象存储已成为 AI 训练数据湖的核心底座。本文从数据湖架构设计、存储选型、性能优化与成...
数据湖不是万能钥匙,但可能是你最需要的那把
7月25日,腾讯云正式发布智能数据湖计算平台AI DLC,面向自动驾驶、具身智能、Agent等AI场景,提供覆盖数据处理、训练、推理到 Agent 应用的一体化...