功能点	故障模式	故障影响	严重程度	故障原因	故障概率	风险程度
登陆	Q无法访问MySQL	当redis中无缓存时，用户无法登陆系统，预计有60%用户	高	Q到MySQL网络中断	低	中
登陆	Q无法访问MySQL	当redis中无缓存时，用户无法登陆系统，预计有60%用户	高	MySQL集群掉电	低	中
登陆	Q部分服务无法提供服务	如果超过半数的节点无法提供服务，用户会有访问延迟、无法登陆等情况发生	中	设备down机	中	低
登陆	Q访问MySQL变慢	超过60%用户访问变慢或失败	高	MySQL中有较多慢查询、全表扫描、负载高等情况	高	高
登陆			高	Q到MySQL网络抖动	中	中
登陆			高	MySQL底层设备异常而切换的，导致集群缓存丢失	中	中
.........

地域/可用区故障，是上面功能点级别故障的特例，主要考验的是业务系统设计完备性、人员的应急能力、应急自动化等能力。

基本工做扎实后才开始实施，这里不做展开。

最终设计

进行最终设计，要拉相关干系人进行讨论，因为对于复杂系统，一个人没办法掌握系统的方方面面，所以需要拉干系人进行讨论，避免认知上的缺陷。

讨论包括：

1、讨论选择哪个实验(根据混沌工程原则 -- 实验选择)

2、该实验的业务KPI及资源特征(构建具有可证伪性的假说)

3、如何实现实验(方法简单、可长期执行)

4、爆炸半径控制方案，特别是生产环境有损的故障注入，要考虑注入时爆炸半径及恢复时爆炸半径(根据混沌工程原则 -- 最小化爆炸半径)

5、补偿能力，如果实验过程中对用户数据有影响，如何在结束时进行补偿

6、应急处理，如果实验推翻了假说，团队如何动作来恢复业务

7、快速终止实验的方法

最终实验表的选择，也是采用专家模式，基于下面的实验选择原则进行权衡。

功能点	故障模式	故障影响	故障原因	风险程度	是否演练	原因	稳态设置	演练方法	爆炸半径	补偿能力	应急处理	终止通道
登陆	Q无法访问MySQL	当redis中无缓存时，用户无法登陆系统，预计有60%用户	Q到MySQL网络中断	中	否	1、发生概率太低 2、是主链路，发生时系统一定出问题
登陆	Q无法访问MySQL	当redis中无缓存时，用户无法登陆系统，预计有60%用户	MySQL集群掉电	中	否	1、发生概率太低 2、是主链路，发生时系统一定出问题
登陆	Q部分服务无法提供服务	如果超过半数的节点无法提供服务，用户会有访问延迟、无法登陆等情况发生	设备down机	低	否	1、需要在容量规划、监控环节cover 2、实验学到的东西太少
登陆	Q访问MySQL变慢	超过60%用户访问变慢或失败	MySQL中有较多慢查询、全表扫描、负载高等情况	高	是	1、该故障模式发生概率高 2、发生时，会显著影响用户体验，有造成用户流失的风险	1、前端有UI交互提示速度变慢 2、登陆成功率 3、 Q服务资源监控	1、在Q服务注入接口级延迟即可，没必要在网络、MySQL集群注入故障，以控制爆炸半径、保证演练可持续性 2、借助推销员CFG，可以快速模拟CDB切换	针对select请求	无需	无需	执行实验工具的命令进行终止
登陆			Q到MySQL网络抖动	中
登陆			MySQL底层设备异常而切换的，导致集群缓存丢失	中
.........