集群存在read only表

【健康度判断】

• readonly表大于0
• 查询sql

 SELECT count(*)
    FROM clusterAllReplicas({cluster_name}, system.replicas)
    WHERE is_readonly settings max_memory_usage=225829120

【可能风险】

• 所有标记为is_readonly=1的表拒绝写入，数据无法写入或同步，可能导致业务中断

【原因分析】

• clickhouse节点磁盘使用率超过阈值，zookeeper节点磁盘打满
• zookeeper XID overflow；zookeeper zk watch不均衡响应慢，出现Session expired
• 副本同步中断，副本表因主副本故障或网络分区无法同步数据
• replication_queue的fetch延迟大
• 副本表在 ZooKeeper 中的元数据丢失

【建议】

1. 磁盘满

• 删除部分数据，如通过alter方式删除表分区

ALTER TABLE problematic_table DROP PARTITION '2023-01';

• 云盘：tchouse-c控制台操作磁盘扩容

2. zookeeper XID overflow

• 升级为clickhouse-keeper（暂不支持）
• 降低写入频率，减少写分布式表、ddl on cluster等操作减少znode的生成

3. zookeeper zk watch不均衡响应慢，有以下方式（选其一）

• 闲时滚动重启集群,可使ck节点重连zookeeper。但该方法可能耗时长，重启时长与版本及集群数据量有关
• system reconnect keeper 高版本可以执行该条命令
• 在控制台调整metrical.xml配置，将watch个数少的zk节点放在前面，会触发重连

4. replication_queue的fetch延迟大

• 见存在同步延迟超10min的副本

5. 副本表在 ZooKeeper 中的元数据丢失，执行下列命令恢复

SYSTEM RESTART REPLICA [ON CLUSTER cluster_name] [db.]replicated_merge_tree_family_table_name
SYSTEM RESTORE REPLICA [db.]replicated_merge_tree_family_table_name [ON CLUSTER cluster_name]

【备注】

zk不均衡：是指zk集群几个节点上watch相差过大，可从腾讯云控制台查看监控，如下：