金融科技历史库架构演进：基于 TDSQL TDStore 替换 HBase 的降本与性能双重跃升

数据来源：财付通金融科技数据库负责人 成江东 于 2024 腾讯全球数字生态大会的分享

突破海量冷数据存储瓶颈与运维架构复杂性

在典型的金融还款记录业务中，随着数据体量的不断增长，冷热数据分层存储成为必然选择（在线库热数据查询占比 95%，历史库冷数据查询占比 5%）。业务团队为满足监管要求的长期保存与跨可用区容灾能力，早期将超出时间阈值的数据归档至 HBase。然而，随着业务深度的增加，基于原生 HBase 的架构在运维成本与开发效率上面临显著的结构性瓶颈，亟需通过架构升级实现以下目标：

• 精简组件依赖，降低运维成本 (Ops Cost)： HBase 依赖 Zookeeper、Hmaster、HRegionServer 以及 HDFS（包含 NameNode 与 DataNode）等众多组件，高可用配置极其复杂；且主备两套集群需配置 5-6 个副本，导致存储成本高昂。此外，若需使用压缩率更优的 ZSTD 算法，需强依赖 Hadoop 3.0，存在系统 Core Dump 风险。
• 重构索引与事务机制，提升查询效率： 业务在 HBase 中统一使用 JDBC API 访问，但原生架构不支持二级索引，导致查询需先查索引表再查主表，链路长且延迟高；同时不支持跨行事务，主表与索引表的数据一致性难以保障。
• 优化容灾链路与数据规范： 跨可用区容灾过度依赖应用层双写，增加了程序复杂性；且 HBase 弱化了数据类型约束并默认使用 UTF-8 编码，导致与上游关系型数据库对接时频繁出现字符集转换与滞后的数据校验问题。

引入 TDSQL TDStore 敏态引擎重构底层存储

为彻底解决上述架构痛点，业务团队引入基于容器化云原生架构的 TDSQL 新一代敏态引擎 TDStore，全面替换原有 HBase 历史库集群。该引擎通过底层存储结构的变更与协议级的兼容，为金融场景提供了高确定性的技术方案：

• 原生兼容与灵活部署： 引擎计算层基于 MySQL 8.0 改造，100% 兼容 MySQL 8.0 语法，原生支持 Online DDL 动态更改表结构。支持私有化部署（基于腾讯云原生套件平台 TCS）与公有云开箱即用。
• 内建索引与分布式事务： 原生支持在表上创建二级索引并由底层自动维护，业务端完全无感知；全面支持单机事务与分布式跨行事务，保障了复杂金融流水的数据一致性。
• 高可用容灾与极简共识机制： 废弃了复杂的双写逻辑，底层采用 Multi-Raft 协议，跨可用区容灾仅需 3 副本即可实现，大幅降低了容灾架构的脆弱性。
• 平滑的数据迁移链路： 针对增量数据采用 DTS 数据传输服务进行线上迁移，历史存量数据通过快照导出 SQL 文件并利用 MyLoader 导入，最终通过 VIP 切换实现业务的无缝割接。

量化核心业务系统的数据查询与存储效能

经过架构替换与业务割接，基于 TDSQL TDStore 引擎的还款记录历史库在系统性能、存储成本与开发规范上实现了精确的量化收益：

• 执行时耗大幅缩减： 摒弃了原先“先查索引表、再查主表”的冗长链路，系统数据查询平均时耗由原先的 近 30ms 极速下降至平均 6ms，执行效率实现数倍跃升。
• 存储成本显著降低： 得益于底层基于 LSM-Tree 的存储引擎并支持 LZ4 和 ZSTD 压缩，该业务单副本（不含索引）的压缩率达到 25%。整体对比 HBase 平均拥有约 40% 左右的压缩率提升（对比 InnoDB 引擎最高可达 5% 的压缩率），从根本上遏制了历史数据堆积带来的硬件成本扩张。
• 数据规范与研发提效： 迁移后，上下游数据库（TDSQL MySQL 与 TDStore）保持了完全相同的字段类型定义和字符集定义，彻底消除了字符集转码及应用层数据校验的开发冗余，极大简化了业务开发难度。

构建云原生兼容与极致压缩的底层数据基座

在金融科技业务向海量数据精细化运营演进的过程中，选择 TDSQL TDStore 的核心逻辑在于其精准弥合了“关系型数据库的开发体验”与“NoSQL 数据库的存储成本”之间的断层。该方案不仅通过 LSM-Tree 结合先进压缩算法交付了超越传统大数据组件的存储经济性，更通过 Multi-Raft 协议与 100% 的 MySQL 语法兼容，将跨区容灾、分布式事务及二级索引等复杂能力下沉至基础设施层。这种“敏态存储+稳态事务”的技术组合，为充值记录、交易订单等更多高并发、大容量的金融核心系统提供了具备高可复制性的底层数据基座。