首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >存在Replication queue任务延迟超10min的表

存在Replication queue任务延迟超10min的表

原创
作者头像
EMR小助手
发布2025-06-03 15:28:48
发布2025-06-03 15:28:48
1020
举报

健康度判断

  • Replication queue tasks积压超过10分钟,为非健康值,表明跨副本数据同步存在问题,需排查以确保数据一致性和服务可用性。
  • 查询sql
代码语言:sql
复制
SELECT count(*) FROM clusterAllReplicas({cluster_name},system.replication_queue) 
where create_time < now() - INTERVAL 10 MINUTE limit 10 

可能风险

  • fetch parts速度赶不上insert parts的速度,replicas fetch挤压过多,Zookeeper未消费parts数一直增加,引起ck节点zk请求数异常,zk负载过高,表可能变为read only状态

【建议】

  • 检查分区设计,禁止分区键为高基数列组合
  • 检查写入逻辑,攒批情况,一次至少插入 1,000 行的相当大的批次数据,最好在1w到10w行之间
  • 业务限流,降低写入频率,增加fetch(background_fetches_pool_size,默认为16)线程及max_parts_to_merge_at_once加快fetch速度。若上述调整仍不能解决,建议停写,待其fetch完,再进行写入。
  • 避免高频DDL操作(如频繁ALTER)
  • 相关配置max_replica_delay_for_distributed_queries等

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档