问腾讯云时序数据库 CTSDB VS 传统时序数据库？

腾讯CTSDB（Cloud Time Series Database）是一种分布式、高性能的时序数据库，针对时序数据的高并发写入、存在明显的冷热数据、IoT用户场景等做了大量优化，同时也支持各行业的日志解析和存储。在腾讯内部支撑腾讯云等每日万亿写入吞吐的场景，经过严苛的压力打磨。其架构如下图所示：

1. CTSDB主要特点

• 高性能：（具体性能数据参考后文测试部分）

o 支持批量写入、高并发查询，以及强大的分析聚合能力；

o 通过横向扩展，线性提升系统性能；

o 支持sharding、routing，加速查询。

• 高可靠：

o 分布式系统，支持多副本；

o 机架感知，自动错开机架分配主从副本。

• 易使用：

o 丰富的数据类型，REST接口，数据写入查询均使用json格式；

o 原生分布式，弹性可伸缩，数据自动均衡；

o 权限系统：支持用户名密码、机器白名单的权限系统。

• 低成本：

o 支持列存储，高压缩比（0.1左右），降低存储成本；

o 支持数据预降精度：降低存储成本的同时，提高查询性能。

o 副本数可按需调整。

• 兼容开源生态：

o 兼容Kibana/Logstash/Beat等组件，方便数据采集及可视化分析；

o 支持从MySQL、Kafka等开源生态同步数据，方便迁移。

竞品性能对比测试

这里选用业界较为流行的InfluxDB来与CTSDB做性能对比测试。

1. 写入性能测试

(1) CTSDB单节点集群与InfluxDB单机版写入性能对比

横坐标：并发数（写入线程数） ，纵坐标：QPS（单位：万次/s）

结论: CTSDB单节点写入性能最高在19w，InfluxDB在15w。

(2) CTSDB单节点集群与CTSDB双节点集群写入性能对比

横坐标：并发数（写入线程数） ，纵坐标：QPS（单位：万次/s）

结论：CTSDB单节点集群写入最高可达20w，双节点集群写入性能34w。

2. 查询性能测试

(1) CTSDB单节点集群与InfluxDB单机版查询性能对比

横坐标：并发数（查询线程数） ，纵坐标：QPS（单位：次/s）

结论：

• CTSDB查询性能整体比InfluxDB好很多，当并发数较高时（40），CTSDB查询性能比InfluxDB高出近4倍，在2w左右。
• 在并发线程数达到50时，InfluxDB出现链接错误，拒绝查询请求；此时，CTSDB可正常查询。

(2) CTSDB单节点集群与双节点集群查询性能对比

横坐标：并发数（查询线程数） ，纵坐标：QPS（单位：次/s）

结论：在并发数较高的情况下，双节点集群查询性能较单节点集群有了大幅度提升，呈现了查询性能线性扩展的趋势。

传统时序数据解决方案存在大量问题

1. MySQL等关系型数据库：

• 写入吞吐低：单机写入吞吐低，很难满足时序数据千万级的写入压力；
• 存储成本大：对于时序数据压缩不佳，需占用大量机器资源；
• 维护成本高：单机系统，需要在上层人工的分库分表，维护成本高；
• 查询性能差：适用于交易处理，海量数据的聚合分析性能差。

2. Hadoop、Spark等批处理系统

• 数据延迟高：离线批处理系统，数据从产生到可分析，耗时数小时、甚至天级；
• 查询性能差：不能很好的利用索引，依赖批处理任务，查询耗时一般在分钟级以上。

3. HBase

• 多维分析能力差：HBase可以较好的满足写入压力，但对于非RowKey前缀的查询性能较差；
• 维护成本：使用HBase需要同时维护HBase和Hadoop等系统，且HBase的稳定性会进一步加大维护成本。