TDSQL 新一代敏态引擎 TDStore：核心特性、性能基准与业务场景

数据来源： 腾讯全球数字生态大会 2024，主讲人：黄潇

1. 应对海量数据与敏态业务的存储瓶颈

传统数据库架构在面对 TB~PB 级的海量数据存储与高并发写入时，面临以下核心困境：

• 运维侵入性高： 业务层需要手动进行分库分表，且在使用 MySQL 单机或 InnoDB 引擎时，面对 10亿条 数据量（约 1810 GB 存储）时，扩展性与运维成本面临挑战。
• 敏态业务支撑不足： 传统 DDL（加列、加索引）操作往往阻塞业务，难以应对游戏活动、用户行为分析等 Schema 频繁变更的场景。
• 存储成本压力： 基于行存储的引擎（如 InnoDB）在归档和历史数据场景下的存储成本较高，缺乏高压缩比优势。

2. 部署基于数据感知调度的 TDStore 引擎

TDSQL 推出的 TDStore 作为新一代敏态引擎，通过以下技术架构解决上述瓶颈：

• 一体化对等架构： 计算层（SQLEngine）完全兼容 MySQL 8.0，采用多主架构支持多点写入；存储层基于 LSM-Tree KV 引擎，利用 Multi-Raft 协议保障数据强一致与容灾。
• 数据感知调度：
  • 亲和性分布： 将相关数据（如商户余额表与流水表）相近分布，直接降低分布式事务比例。
  • 反亲和性调度： 数据多副本采用反亲和性调度，实现容灾能力。
• 云原生弹性： 管控层基于容器化平台，支持一键弹性扩缩容，内核层提供几乎无限的存储和计算容量。
• 原生 Online DDL： 支持秒级 Instant DDL 和 Fast Online DDL（非阻塞），无需 pt-osc / gh-ost 等外部工具。

3. 量化性能表现与关键业务价值

基于 Sysbench 标准测试（环境：3节点 32Core/64GB/350GB，v18.0.0），TDStore 展现出以下关键指标：

核心业务 ROI 指标：

1. 存储成本降低： 利用 LSM-Tree 高压缩比特性，历史归档场景成本降低 70%~90%。
2. 查询效率提升： 通过并行查询（parallel(16)）与算子下推，针对 32,518,859 行 数据的范围扫描时间从 7小时3分24秒 缩短至 1小时18秒。
3. 开发效率提升： 业务层无须手动分库分表，支持 MySQL 单机业务无缝迁移，且单表支持百亿行以上数据。

4. 典型客户场景迁移案例

• 历史归档/冷热分离（原 HBase）：
  • 场景： 充值历史记录、还款记录。
  • 方案： 利用 TB~PB 级存储能力与高压缩比，替代 HBase 提供低成本在线查询。
• 海量日志流水（原 TDSQL InnoDB）：
  • 场景： 发票日志流水。
  • 方案： 利用 Multi-Raft 强一致与写入线性扩展能力，解决原 InnoDB 写入瓶颈。
• 敏态业务（游戏）：
  • 场景： 游戏用户活动数据。
  • 方案： 利用秒级 Instant DDL 支持 Schema 灵活多变，适应快速迭代。
• 数据中台/多维查询（原 TiDB）：
  • 场景： 广告数仓。
  • 方案： 利用并行查询与全局唯一约束，支持运营报表与实时大盘的多维查询需求。

5. 技术领先性与架构确定性

• 强一致透明分布式： 通过 Multi-Raft 协议同步日志，在提供强一致容灾能力的同时，对业务层无入侵。
• 对等架构优势： Hypernode 对等架构结合二级索引和主键数据的亲和分布，尽可能降低数据读取和写入时的网络开销。
• 计算下推： 物理绑定、逻辑分离的设计，配合计算下推能力，显著提升范围扫描、Group By 聚合操作的查询性能。