抖音集团内部使用的数据湖格式称为 ByteLake，它是基于 Apache Hudi 深度定制的一个数据库框架，其核心功能包括支持 ACID、增量消费更新和湖仓...

Apache Iceberg 作为一个现代化的高性能数据湖格式，为大规模数据处理提供了丰富的功能和灵活性。无论是用于实时分析、批处理还是数据湖操作，Iceber...

在数据驱动决策的时代，湖仓一体架构以统一存储、统一计算、统一管理的创新形式，补齐了传统数据仓库和数据湖的短板，逐步成为企业大数据解决方案新的标准。

在当今大数据时代，企业需要处理和存储海量数据。数据湖与数据仓库作为两种主要的数据存储解决方案，各自有其独特的优势与适用场景。本文将为初学者介绍数据湖与数据仓库的...

并发控制在数据库管理系统中至关重要，以确保多个用户对共享数据的一致且安全的访问。关系数据库（RDBMS），例如MySQL（InnoDB）[1]和分析数据库（例如...

截至目前，基于 Doris + Paimon 的实时/离线一体化湖仓架构已为反欺诈策略、用户⾏为分析、业务监控、 BI 应用等若干系统提供了服务，实现查询提速 ...

腾讯云数据湖存储技术通过在对象存储 COS 上搭建一个分布式高性能文件系统——数据湖加速器 GooseFS，实现了存储计算分离架构下，对象存储 COS 的加速访...

欢迎阅读2025年1月的Hudi简报，由Onehouse.ai[1]为您带来！随着我们迈入新的一年，Hudi生态系统继续发展壮大，带来新的项目更新、社区贡献和实...

概述：腾讯广告业务的特征生产计算每天都会处理万亿级的新增记录和 PB 级的中间数据，并管理数十 PB 规模的历史结果。为了解决海量数据在读写性能（含更新）和存储...

亲爱的社区小伙伴们，Apache Doris 2.1.8 版本已于 2025 年 01 月 24 日正式发布。 该版本持续在湖仓一体、异步物化视图、查询优化器与...

数据湖是一个存储海量原始数据的系统，它可以包含结构化、半结构化和非结构化的数据。数据湖的最大特点是能够保留数据的原始状态，并且支持灵活的处理和分析方式。常见的实...

数据湖的出现是为了解决这些限制，它为各种数据类型提供可扩展的存储和基于读取的模式功能。然而，数据湖中缺乏事务保证促使了数据湖仓的发展，它将数据湖和数据仓库的优势...

听说过"欲速则不达"这句话吗？在大数据领域,这个道理再适用不过了。想要又快又好地分析PB级数据,光靠数据库"单打独斗"已经不够看了。正如功夫大师需要"内外兼修"...

小明心里"咯噔"一下 —— 近三年的数据分散在数据仓库和数据湖里,这下有得忙了...

在这个栏目中，每周将筛选社区反馈的热门问题和话题，重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

我们很高兴地宣布 Apache Hudi 1.0 的发布，这是我们充满活力的社区取得的里程碑式成就，它定义了下一代数据湖仓一体应该实现的目标。Hudi 在 20...

Kloudfuse 包括数据整形和转换功能，以及客户管理的长期存储；该平台用于分析数据，而无需客户放弃数据主权。单个数据湖可以无限扩展，同时持续训练大型语言模型...

在《Apache Hudi 数据湖仓编年史》第三集中，Soumil Shah 演示了如何通过将数据从业务数据源引入数据湖仓来解决实际的变更数据捕获（CDC）挑战...

演讲介绍：本次演讲将深入解析抖音数据湖的构建原理，探讨数据湖表面临的主要问题与挑战，并详细介绍高效的表管理服务。演讲还将阐释抖音如何将Amoro平台整合进数据湖...