背景
索引的合理设置是业务高效稳定运行的基础,现实中索引管理不仅使用门槛高、运维投入高,更是很多线上问题的源头,目前 ES 60%的运维管理操作、60%的基础线上问题都与此相关,是使用 ES 的关键痛点。
基于此背景,腾讯云 ES 推出了业界首创的自治索引,能实现索引创建、滚动、降冷、删除、故障自动修复的全自动化,并实现分片的智能调优,大幅减少了运维故障和资源投入。
优化方案
提供分片自动调优、查询裁剪、故障自动修复、索引生命周期管理等特性,同时在写入层进行相应的优化,在降低运维与管理成本的同时,提高使用效率以及在写入与查询时的性能。
优化效果
整体而言,自治索引围绕索引从索引创建 > 数据写入 > 分片调优 > 查询 > 运维管理等索引使用全流程操作,均提供了相应的特性帮助更好的进行索引使用与管理。
高效创建与管理
自治索引的创建和管理相较原生索引以及 Datastream 更为高效,自治索引内置索引生命周期管理策略、索引模版等,我们只需通过一条命令,即可完成所有配置,无需额外管理 ILM、索引模版以及别名等的成本。
写入性能优化
针对“0点索引滚动,产生写入抖动”、“百万级 TPS,CPU 无法充分利用”、“自带主键写入性能衰减1+倍”等问题,自治索引在写入层均做了相应的优化,相比开源版本 ES,写入稳定性提升80%,TPS 提升1倍+,资源利用率提高50+%,性能提升45%。数据如下:
对比指标 | 腾讯云 ES | 开源版本 |
写吞吐(TPS) | 169W(+121%) | 76W |
CPU | 49%(+58%) | 31% |
拒绝率 | 0% | 0.3% |
分片自动调优
自治索引支持基于业务负载自动调整分片,兼容写入快速增长、周期性波动、写入毛刺等场景,并且和节点数量关联,使得业务在写入快速放量、扩缩容等场景下,不会出现写入拒绝或需要手动调整的情况。
查询裁剪
自治索引可结合查询条件,快速跳过无关索引,降低分片发送请求数量,实现索引级别的快速裁剪,将 PB 级日志查询性能提升3倍以上。
故障自动修复
当监测到索引分片所在的某个节点故障导致索引 red 或者写入异常时,自治索引会自动滚动出新的后备索引,保证新的后备索引分片都分布在正常节点,保证写入的可用性,整个过程无需人工干预,业务无感知,全部由自治索引自动完成。
使用方法
支持版本
7.14.2