首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >存在写分布式表数量超10张

存在写分布式表数量超10张

原创
作者头像
EMR小助手
发布2025-06-03 15:08:53
发布2025-06-03 15:08:53
660
举报

健康度判断

  • 存在集群写分布式表数目大于10张表,为非健康值
  • 查询sql
代码语言:sql
复制
SELECT count(*) AS count
    FROM clusterAllReplicas({cluster_name}, system.distribution_queue)
    GROUP BY hostname()
    ORDER BY count DESC
    LIMIT 1

可能风险

  • 写放大:分布式表写入时会在本地节点生成临时数据,会产生写放大,所以会对CPU及内存造成一些额外消耗;
  • 增加merge负担:分布式表写的临时block会把原始block根据sharding_key和weight进行再次拆分,会产生更多的block分发到远端节点,也增加了merge的负担。高频写入易触发Too many parts错误,导致写入阻塞
  • 写入分布式表时,若某个分片节点故障,部分数据可能丢失(因分布式表本身不存储数据)

【建议】

  • 通过CLB直接写local表,做到写入负载均衡

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档