Tech
导读
 本文从整体介绍了混沌演练的实践流程，读者可以通过本文了解到混沌实践的典型演练场景、重要考核指标以及风险控制方案等。 1.3 混沌演练的价值
 应用混沌演练可以对系统抵抗扰动并保持正常运作的能力进行校验和评估，提前识别未知隐患并进行修复，进而保障系统更好地抵御生产环境中的失控条件，提升整体稳定性。 图1 混沌演练的价值
02 

 混沌演练实践 
理解，首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板，当获取到模板后进行模板加载，加载阶段会将产物转换为视图树的结构，转换完成后将通过表达式引擎解析表达式并取得正确的值 ：演练中发现问题要及时恢复，演练后对模拟故障的实例机器进行重启恢复，确保机器正常运行，各项性能指标恢复；

图2 混沌演练平台介绍
2.2 初次演练实践
 2.2.1 准备阶段
 混沌演练准备阶段是设计演练策略 图8 演练重点关注指标
3.3 关注风险控制
 混沌演练会对业务和系统产生破坏性，为了限制发现应用程序漏洞的成本，避免不必要的损坏和超出合理测试允许的实际损失对混沌演练做好风险控制是非常必要的

混沌演练实践（一）

Tech
导读
 本文从整体介绍了混沌演练的实践流程，读者可以通过本文了解到混沌实践的典型演练场景、重要考核指标以及风险控制方案等。

混沌演练实践（一）

，腾讯云侧安排售后技术专家进行现场派驻提供技术支持制定应急预案腾讯云售后技术专家根据演练项提供预期告警表现和预期演练结果，并和阅文游戏侧运维团队设计回切方案及紧急恢复方案（3）实施演练过程混沌演练涉及产品众多 为此次演练腾讯云混沌团队提供基于混沌工程原理及腾讯云最佳实践的故障演练平台，内含丰富的故障动作库和典型的行业经验模板，提供高效的可视化演练和可靠的安全防护策略，并在结束演练后提供完备的演练报告。 创建演练任务 根据预先制定的演练方案，在腾讯云混沌演练平台上提前创建好演练任务，包括选取经验模板，编排动作组，选择演练实例对象，配置动作执行方式和监控指标执行故障注入云顾问·混沌演练平台提供可视化视图， 从观测结果可以看出混沌演练平台故障注入成功，目标实例均呈现出应有的表现，并能按照预期进行切换，完全模拟出了预期的故障场景 四、 混沌演练的收益通过游戏服+平台服的多次混沌演练，该款游戏高可用架构改造后的系统稳定性和可靠性得到了有效验证 同时通过多次跑完演练流程，从制定计划、准备环境、正式演练到复盘总结，大大地完善了混沌演练流程的规范性，提升整体运维效率。

【云顾问-混沌演练】阅文游戏：新游上线混沌演练实践

阅文集团是一家以数字阅读为基础，IP培育与开发为核心的综合性文化产业集团。集团汇聚了强大的创作者阵营、丰富的作品储备，覆盖200多种内容品类，触达数亿用户，已成功输出《斗罗大陆》《斗破苍穹》《鬼吹灯》《盗墓笔记》《琅琊榜》《庆余年》等网文IP改编的动漫、影视、游戏等多业态产品。

【云顾问-混沌演练】阅文游戏：新游上线混沌演练实践

三、 混沌故障演练过程
在新游上线的背景下，欢乐互娱携手腾讯云混沌演练平台，通过梳理游戏行业痛点问题，结合业务背景，重点提炼出了服务器、网络、数据库等场景下的故障容灾演练，以充分评估新游戏产品的稳定性表现 腾讯云混沌团队依托内部实践经验和对行业痛点的深刻洞察，提供针对性的故障场景方案与故障动作编排，实现低成本、高效率的混沌演练，此次欢乐互娱新游演练包含以下核心演练场景：
 1. 在腾讯云混沌演练平台（CFG）上，业务团队可以轻松完成实例选取、演练场景动作编排、可视化故障注入和演练报告等全流程演练。 五、 腾讯云混沌演练平台
腾讯云混沌演练平台（Chaotic Fault Generator）是一款结合了腾讯内部实践的针对腾讯云上资源进行混沌工程实践的SaaS产品。 附：
公有云产品体验：
混沌演练平台-腾讯云产品控制台
故障演练操作指南：
腾讯云文档中心-混沌演练平台-故障动作库
案例介绍文档：
腾讯云文档中心-混沌体验营
高可用服务：
高可用服务 - 腾讯云客户支持

【云顾问-混沌演练】欢乐互娱：新游上线混沌演练实践

欢乐互娱（上海）科技股份有限公司（以下简称“欢乐互娱”），是一家全球游戏研发和发行公司，聚焦于MMORPG和MMOACT两大品类，成功出品了众多知名游戏如《街机三国》、《龙之谷》和《英雄杀》等。2023年4月，欢乐互娱重磅新游大作《RO仙境传说》计划在东南亚发行，该项目开服规模大、影响用户范围广，做好游戏上线前的容灾准备以保障上线后的稳定性至关重要。

【云顾问-混沌演练】欢乐互娱：新游上线混沌演练实践

混沌工程和故障演练
混沌工程是近年来新出现的概念，主要用于稳定性方面的研究，英文全称为chaos engineering，由网飞公司最先提出。 混沌工程是一门学科，提供了基本的理论指导。而故障演练是混沌工程的具体实践，通过向目标系统注入真实可能发生的故障来考量系统的稳定性。
故障演练的实施要点
混沌工程为稳定性验证实验提供了可实践的指导。 如果要将混沌工程落地实践，首先要有一个快速、方便的故障注入工具，然后结合混沌工程的理论进行故障演练，从而提高系统的稳定性。 2．建立稳定性指标
既然故障演练是混沌工程的实践，那么所有的演练都要站在混沌工程“建立一个围绕稳定状态行为的假说”的基础之上开始设计。 很多大型互联网公司开源了自己的混沌工程工具，也公开了自己的故障演练方案，但是故障演练是一项需要详细计划并且由包含测试工程师、开发工程师、运维工程师等角色的推进小组完成的工作，某一个角色“单打独斗”是无法完成的

混沌工程和故障演练

混沌工程是近年来新出现的概念，主要用于稳定性方面的研究，英文全称为chaos engineering，由网飞公司最先提出。因为最开始混沌工程称作chaos monkey，形容就像有一只猴子在系统中捣乱一样，以至于到现在每次提到混沌工程都会用一只捣乱的猴子来比喻。

混沌工程和故障演练

进行跨 AZ（可用区）容灾和混沌演练变得尤为重要。 腾讯云基于该背景，推出了混沌演练平台，助力用户进行云上稳定性治理，并结合行业经验，形成了跨 AZ 的容灾演练模版，用户可以基于该模版一键创建混沌演练或在此模版基础上添加新的故障演练场景，灵活便捷！ 提高应急响应能力：通过定期进行跨 AZ 容灾和混沌演练，提高企业和组织的应急响应能力，确保在发生问题时能够迅速采取恢复措施。
如何快速进行跨 AZ 容灾混沌演练？ 借助于腾讯云混沌演练平台，可方便快捷地进行跨 AZ 容灾混沌演练时，可以遵循以下步骤：
前往腾讯云混沌演练平台【概览】选择「跨可用区容灾演练」行业经验模版。 点击之后可选择去使用，可以直接创建对应的混沌演练任务。
2. 选择对应的云上实例资源或添加其他故障场景，即可开始跨可用区容灾混沌演练。

【云顾问-混沌】 跨 AZ 容灾混沌演练

随着云计算技术的快速发展，越来越多的企业和组织将其业务迁移到云平台，以实现更高效、灵活和可扩展的资源管理。然而，由于云环境的复杂性高，也为业务稳定性带来了一定的挑战，那如何确保业务的高可用性和数据的安全性呢？进行跨 AZ（可用区）容灾和混沌演练变得尤为重要。

【云顾问-混沌】[行业经验] 跨 AZ 容灾混沌演练

二、演练范围为了能更细致反应出混沌演练情况，根据演练的内容不同，将实时数仓混沌分为两部分：技术侧和业务侧。 技术侧混沌：基于中间件、数据库、JVM、基础资源、网络、服务等注入常见的异常，根据实际业务中梳理的应用核心场景进行混沌演练，检验系统的脆弱性和应急响应能力，从而提升团队的稳定性保障处理能力。 三、演练计划工欲善其事，必先利其器，在执行混沌演练前，需要准备好前置工作，制定合理的演练SOP、方案、计划，对演练环境、脚本、数据、工具，场景及爆炸半径等进行可能性评估，在确认可行性ok的情况下，约好关联方时间 本篇主要和大家分享基于业务侧的实时数仓混沌演练过程：1.编写演练SOPSOP是一种标准的作业程序，就是将某一事件的操作步骤和要求，进行细化、量化及优化，形成一种标准的操作过程，关于业务侧混沌，尤其是实时数仓数据相关的演练 这些都需要团队进一步去探索、解决，同时在演练的过程中，我们将不断积累、丰富演练case、完善演练库，后续计划通过引入工具（平台）、建立演练协助机制、定期定时演练等手段，使混沌演练更加自动化、规范化、常态化

实时数仓混沌演练实践

目前实时数仓提供的投放实时指标优先级别越来越重要，不再是单独的报表展示等功能，特别是提供给下游规则引擎的相关数据，直接对投放运营的广告投放产生直接影响，数据延迟或者异常均可能产生直接或者间接的资产损失。

实时数仓混沌演练实践

但是在复杂的混合云环境中进行容灾演练本身就比较复杂，涉及的云资源之多，进行混合云容灾演练的门槛高。 腾讯云混沌演练平台旨在协助用户便捷地进行云上稳定性治理，平台结合行业经验，形成了混合云容灾演练行业经验，用户可以基于该演练经验一键创建混沌演练或在此模版基础上添加新的故障演练场景，灵活便捷！ 混沌演练对混合云容灾的价值体现腾讯云混沌提供了对云上资源类型CLB、CVM、专线、数据库等对象类型的故障，通过混沌演练可以了解云服务不可用时的业务表现，检验故障告警的有效性，同时也可以验证脱离公有云后自身私有云架构的容灾表现 如何快速进行混合云容灾混沌演练腾讯云混沌演练工程结合行业经验，生成了一个混合云容灾演练经验模板，可通过该模板快速生成演练：前往腾讯云混沌演练平台【概览】选择「混合云容灾演练」行业经验模版。 点击之后可选择去使用，可以直接创建对应的混沌演练任务。

混合云容灾混沌演练

混合云，顾名思义，是由公有云、私有云或其他云共同构成的宏观意义上云计算环境。公有云由各大云提供商提供，而私有云则是企业内部自行搭建并管理的云计算基础设施。混合云兼具公有云和私有云的优点，具备较高的收益和性能。但是基于混合云部署的业务系统往往复杂性高，维护成本大，因此也为业务稳定性带来了不小的挑战，为保证业务的稳定性，进行有规律的容灾演练是一种科学的方式。但是在复杂的混合云环境中进行容灾演练本身就比较复杂，涉及的云资源之多，进行混合云容灾演练的门槛高。

[云顾问-混沌][行业经验]混合云容灾混沌演练

面对研发和迭代各种功能需求，以及处理线上问题的压力，导致在混沌演练方面的时间和精力相对不足。 工具建设： 建设腾讯云混沌演练平台，打造混沌演习全生命周期产品能力，确保团队能轻松实践混沌工程。 虽然市场上有众多开源和商业化的演练工具，但腾讯云始终努力寻求更高效地进行混沌工程实践的方法，基于腾讯云业务自身特点自研了腾讯云混沌演练平台产品，产品提供以下能力：
演习全生命周期支持：将演习过程划分为三个主要阶段 为此，自2021年起，团队把面向腾讯内部几百款产品在演练实施过程中的经验和方法进行产品化，推出混沌工程产品腾讯云混沌演练平台，力求为客户提供故障注入能力和生命周期管理能力等实质性服务。 六、腾讯云混沌演练平台
腾讯云混沌演练平台（Chaotic Fault Generator）提供高效便捷、安全可靠的故障演习服务，除可视化故障注入服务外，还提供行业经验模板，监控护栏等核心功能，致力于帮助用户及时发现业务容灾隐患

【云顾问-混沌演练】迎难而上，腾讯云混沌工程实践之道揭秘

随着数字经济转型逐步深化，众多企业正迈入全面上云阶段。然而，云计算架构所带来的复杂性也让稳定性面临极大挑战。伴随着云计算规模的快速增长，云服务作为社会基础设施的重要性也日益提升。腾讯云深知质量乃生命线，稳定性至关重要且不容忽视。

【云顾问-混沌演练】迎难而上，腾讯云混沌工程实践之道揭秘

近日，在中国信通院组织的“首届云系统稳定安全运行优秀案例征集”活动中，腾讯云混沌演练平台斩获了三项优秀案例荣誉，包括混沌工程实践、云系统运行故障应急处置、变更管控领域。 其中，腾讯云混沌演练平台凭借在腾讯云自研产品稳定运营领域工作中积累的实战经验和丰富成果，斩获了三项优秀案例荣誉，包括混沌工程实践、云系统运行故障应急处置、变更管控领域。 由此，混沌练平台应运而生。
组织上，成立混沌蓝军，依托腾讯云混沌演练平台，以第三方视角对所有云产品进行非通知的月度大规模实战演习，驱动各个产品达成容灾标准，最终促进达成0故障目标。 以腾讯云机房断电等重大故障演练实践为例，腾讯云混沌演练平台提供演练全生命周期管理功能，串联事前计划、事中演练、事后复盘等关键环节，从以下几个方面验证系统及应急预案的可用性：
1）云产品服务稳定性：故障注入以后 腾讯云混沌演练平台将持续完善自动化、可视化的混沌实验部署工具，探索致力于打造一个更完善的稳定性运营平台，满足企业在云迁移、云原生过程中的稳定性保障需求。

【云顾问-混沌演练】“练”出强大，腾讯云混沌演练平台斩获三项优秀案例荣誉！

中国信通院于2022年11月启动案例征集，活动旨在通过筛选行业最佳实践案例，为众多企业提供参考和指引，进而推动我国云服务稳定安全运行水平提升，保障各个行业数字化转型和稳定运营。作为首届活动，标志性、引领性意义重大。

【云顾问-混沌演练】“练”出强大，腾讯云混沌演练平台斩获三项优秀案例荣誉！

为何需要进行Redis的混沌演练?
当Redis进行主备切换之后，往往会有以下几个影响：
数据一致性问题：在主从切换的瞬间，可能会出现数据不一致的情况，如主节点的部分数据未同步到从节点。 此时进行Redis的主从切换混沌演练便是一个科学的方法。 腾讯云混沌工程实践
Redis 集群是业务存储热数据的重要组件，为保证业务的可用性，依靠集群内节点之间的 Gossip 协议来进行节点状态的判断，默认的心跳超时时间 (cluster-node-timeout 腾讯云混沌演练平台基于以上特性，提供手动方式跨过节点故障阶段直接模拟HA策略的故障动作，您可通过该手动故障方式模拟当 Redis 集群发生故障切换机制的短时间内对业务的影响。 优先跨可用区切换
模拟跨可用区整体故障时，其他可用区节点提主场景
 通过混沌工程实现Redis主备切换的故障注入，企业可以更好地了解系统在故障场景下的表现，提前发现潜在问题，确保业务的稳定运行。

【云顾问-混沌】Redis故障演练-主从切换

随着企业对数据处理和存储需求的不断增长，Redis作为一款高性能的内存数据结构存储系统，已成为业界的首选。然而，在Redis中的使用中，会面对一些潜在的故障风险，其中主节点故障，发生主从切换最为常见。

【云顾问-混沌】Redis故障演练-主从切换

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

【开箱吧腾讯云】云顾问产品发布-混沌演练

CVM系统时间跳变演示

中国数据库前世今生——第2集：1990年代/混沌

安防报警沙盘演练VR虚拟仿真

游戏安全--21.攻防演练（Vulnhub-VENOM靶场渗透实战）

红队安全技术攻防研究与实战--11.攻防演练

红队安全--14.攻防演练（Vulnhub-wakanda 1靶场渗透实战）

红队安全--15.攻防演练（Vulnhub-MoneyBox 1靶场渗透实战）

红队安全--16.攻防演练（Vulnhub-The Planets Earth靶场渗透实战）

红队安全--20.攻防演练（Vulnhub-ColddBox-Easy靶场渗透实

第三节：ES Serverless实战演练—— 3.3 TKE容器服务日志分析实战

第三节：ES Serverless实战演练——3.4 大数据产品日志分析实战

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐