在 Uptycs，我们的数据平台架构多年来随着几乎所有数据平台的自然发展而发展。最初我们的架构围绕在线事务处理 （OLTP） 数据库 （在我们的例子中主要是 P...

在当今数据驱动的时代，企业和开发者都希望能快速、高效地构建数据 API，以便将数据库中的数据灵活应用于各种业务场景。但传统的 API 开发往往涉及复杂的编码、繁...

聚类是数据湖仓架构中的一项关键优化技术，它解决了数据布局与查询访问模式对齐的挑战。通过线性排序和多维聚类等策略，可以少不必要的文件扫描来显著提高查询性能。

Apache Hudi最初由Uber于2016年开发，旨在构建一个事务型数据湖，以快速可靠地处理数据更新，支持其网约车平台的高速增长。如今，Hudi已被行业广泛...

国内首场 Apache Iceberg Meetup 在深圳成功举办，腾讯云在活动中分享了 Iceberg 在腾讯云大数据中的成功实践，并推出了 TC-Iceb...

Iceberg是介于上层计算引擎与底层存储格式之间的中间层，定义为一种"数据组织格式"并称为表格式，它并不定义数据存储方式，而是定义了数据、元数据的组织方式，向...

抖音集团内部使用的数据湖格式称为 ByteLake，它是基于 Apache Hudi 深度定制的一个数据库框架，其核心功能包括支持 ACID、增量消费更新和湖仓...

Apache Iceberg 作为一个现代化的高性能数据湖格式，为大规模数据处理提供了丰富的功能和灵活性。无论是用于实时分析、批处理还是数据湖操作，Iceber...

在数据驱动决策的时代，湖仓一体架构以统一存储、统一计算、统一管理的创新形式，补齐了传统数据仓库和数据湖的短板，逐步成为企业大数据解决方案新的标准。

在当今大数据时代，企业需要处理和存储海量数据。数据湖与数据仓库作为两种主要的数据存储解决方案，各自有其独特的优势与适用场景。本文将为初学者介绍数据湖与数据仓库的...

并发控制在数据库管理系统中至关重要，以确保多个用户对共享数据的一致且安全的访问。关系数据库（RDBMS），例如MySQL（InnoDB）[1]和分析数据库（例如...

截至目前，基于 Doris + Paimon 的实时/离线一体化湖仓架构已为反欺诈策略、用户⾏为分析、业务监控、 BI 应用等若干系统提供了服务，实现查询提速 ...

腾讯云数据湖存储技术通过在对象存储 COS 上搭建一个分布式高性能文件系统——数据湖加速器 GooseFS，实现了存储计算分离架构下，对象存储 COS 的加速访...

欢迎阅读2025年1月的Hudi简报，由Onehouse.ai[1]为您带来！随着我们迈入新的一年，Hudi生态系统继续发展壮大，带来新的项目更新、社区贡献和实...

概述：腾讯广告业务的特征生产计算每天都会处理万亿级的新增记录和 PB 级的中间数据，并管理数十 PB 规模的历史结果。为了解决海量数据在读写性能（含更新）和存储...

亲爱的社区小伙伴们，Apache Doris 2.1.8 版本已于 2025 年 01 月 24 日正式发布。 该版本持续在湖仓一体、异步物化视图、查询优化器与...