数据层故障演练

最近更新时间:2024-08-14 16:05:31

我的收藏

视频介绍



数据层故障示意图





CDB 和 Redis 采用了一主一备双节点跨可用区部署,在主可用区故障时,能够自动切换到备可用区的备节点,实现跨可用区容灾。

演练步骤

步骤1. 启动 PTS 压测平台

登录 PTS压测平台,选择测试场景为 cfg-test,启动压测流量。
注意:
如果接入层故障演练启动的压测任务还未结束,这一步骤可以跳过。




步骤2. 开始 Redis 故障注入

1. 单击演练编排图中的 CRS 图标,在弹出的动作编排列表中单击执行CRS主节点故障。
注意:
由于 CRS 主节点故障后会自动恢复,所以此处没有手动恢复动作。



2. 等待故障注入成功。



3. 观察 PTS 压测结果,可以看到在故障注入后,部分接口失败,故障持续40s后,服务自动恢复。




步骤3. 结果分析

在 Redis 出现单可用区故障时,服务出现短时不可用,故障自动恢复后,服务恢复正常,故障自动恢复时长40s,符合预期。

步骤4. 开始 CDB 故障注入

1. 单击演练编排图中的 CRS 图标,在弹出的动作编排列表中单击执行切换实例主从角色故障。



2. 等待故障注入成功。



3. 观察PTS压测结果,观察请求失败率与并发数指标,可以看到切换过程中部分请求出现失败,观察平均响应时间与并发数指标,可以看到在故障后,接口响应时间陡增。




步骤5. 结果分析

在 CDB 出现单可用区故障发生主备切换时,服务由于没有重试机制,所以访问数据库接口出现闪断,待主备切换完成后,服务恢复正常,故障影响时长30s,故障表现符合预期。
注意:
业务实际是否受到影响,取决于业务是否配置有重试机制。

步骤6. 故障恢复

单击执行 CDB 主备切换恢复动作,恢复动作会再次进行主备切换,服务表现与故障一致。