存在同步延迟超10min的副本
原创
存在同步延迟超10min的副本
原创
EMR小助手
修改于 2025-05-20 15:05:01
修改于 2025-05-20 15:05:01
【健康度判断】
- replicated table副本延迟大于5*60秒为非健康值。
- 查询sql
SELECT
count(*)
FROM clusterAllReplicas({cluster_name},system.replicas)
WHERE absolute_delay>600 limit 10 settings max_memory_usage=225829120【可能风险】
- 为insert插入频率过高，merge、fetch积压，可能报too many parts等异常，导致集群写入异常
ClickHouse exception, code: 1002, host: 11.142.xx.xx, port: 8123; Code: 252. DB::Exception: Too many parts (4101 with average size of 8.54 MiB) in table 'xx.xxxx(b9cf0e01-3bc7-4836-91cd-e27d00c02038)'. Merges are processing significantly slower than inserts. (TOO_MANY_PARTS) (version 23.8.9.1)【原因分析】
- 写入压力过大：主副本写入速度超过从副本处理能力。
- 网络/硬件瓶颈：副本间网络延迟高，或磁盘 I/O、CPU 资源不足。
- ZooKeeper 性能问题：ZooKeeper 集群响应慢，导致元数据同步阻塞。
- 长事务或大分区合并：后台 Merge 或 Mutation 操作占用资源。
【建议】
- 攒批写，一次至少插入 1,000 行的相当大的批次数据，最好在1w到10w行之间；降低并发写入频率。
- 在节点负载不高情况下，可适当调整merge(background_pool_size，background_merges_mutations_concurrency_ratio，两者乘积建议小于节点核数1/2，值过大会影响集群正常读写操作)、 fetch(background_fetches_pool_size，默认为16)线程及max_parts_to_merge_at_once，增大merge，fetch操作的处理速度
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
腾讯云开发者
