助力618-Y的混沌实践之路

2023-08-01 16:00 由京东云开发者发表于 #其他

一、写在前面

1、混沌是什么？

混沌工程（Chaos Engineering）的概念由 Netflix 在 2010 年提出，通过主动向系统中引入异常状态，并根据系统在各种压力下的行为表现确定优化策略，是保障系统稳定性的新型手段。

混沌工程是一门在分布式系统上进行实验的学科，目的是建立人们对于复杂系统在生产环境中抵御突发事件的信息。

2、为什么要做混沌？

混沌工程通过有意地引入故障、异常或不确定性的条件，以模拟真实世界中的不完美环境。其核心思想是通过主动引入故障和异常情况，逐步验证和提升系统的健壮性，从而增加系统在面对真实世界中的复杂环境时的稳定性和可靠性。其目的是识别潜在的系统弱点，并改进应用系统的健壮性和恢复能力，减少系统故障造成的影响，并提供更好的用户体验。

3、混沌的原则

混沌工程主要遵循以下原则：

假设清晰性（Assumption-Driven）：明确系统的行为和性能的关键假设。这些假设可以基于系统需求、设计决策或运行环境等方面。混沌工程的实验应着眼于验证或推翻这些假设。
实验的真实性（Experimentation）：通过有意地注入故障、异常或不确定性的条件来模拟真实世界中的不完美环境。实验应该是可控和可重复的，以便在安全范围内进行测试和观察系统的响应。
最小化影响（Minimizing Blast Radius）：实施混沌实验时需要注意最小化对生产环境和用户的负面影响。合理限制实验的范围和影响范围，并使用适当的风险管理方法保护关键业务功能。
监测和度量（Monitoring and Measurement）：实验期间需要密切系统报警机制。使用监控工具和指标来收集实验数据，以便评估系统的稳定性和弹性。
分析和学习（Analyzing and Learning）：对实验结果进行复盘，并从中提取经验教训。确定问题的根本原因，并制定相应的改进计划和解决方案。
持续改进（Continuous Improvement）：混沌工程是一个持续改进的过程。通过不断地进行实验、分析和修正，提高系统的弹性、稳定性和可恢复性。

二、Y的混沌发展

近三年，京东混沌工程作为大促三道防线之一，在促前扮演了非常重要的角色，而Y的混沌实践，也在不断地进行升级，主要从应用覆盖率和场景覆盖率两个方向明确提升方向，并在集团混沌大赛上取得了一系列突破和成绩。

1、探索阶段（21年）

追溯到21年618，Y主要以探索试点为目标，混沌试验应用覆盖上主要以非0/1级应用为主，演练场景上以断网演练等简单场景为主，攻守双发均为研发。

2、发展阶段（22年）

22年随着京东混沌工程的迭代升级，在演练场景及系统易用性上均有明显改善，Y侧也重点在混沌演练场景上进行全面覆盖，从基础资源故障拓展到外部依赖故障再到高级场景补充，不断提升系统稳定性。同时逐步覆盖0/1级核心系统，并沉淀混沌演练操作手册、混沌演练规范等，演练以测试为攻方，研发为守方，明确职责分工。

22年618由测试同学承接混沌演练，在演练前、演练中、演练后分别推进以下相关工作：

定义演练目标：明确演练目标和期望结果。包含确定要执行的应用系统范围、执行的场景、应用系统监控的配置、故障场景的观测、问题处理机制等，从而提升应用系统健康度。
识别关键组件和场景：确定系统中的关键组件和依赖关系，并识别可能影响系统稳定性和性能的典型场景。这些场景可以包括网络故障、资源耗尽、高并发等。
制定演练计划：制定一份详细的实验计划，包括演练的时间、范围、持续时间以及参与者的角色和职责。确保所有参与者都了解实验计划和预期结果。
设置监控体系：在演练之前，检查泰山中的MDC、UMP、中间件等配置，进一步了解应用的监控信息，根据应用的监控信息，更有针对性的模拟系统故障。
执行演练场景：按照演练计划执行混沌演练，例如模拟网络故障、内存故障、CPU故障、中间件故障等，观察系统的报警信息和研发运维响应，并记录关键指标和事件。
结果复盘：在演练结束后，收集和分析实验期间的数据和观察结果。评估系统的稳定性、可恢复性以及对异常情况的处理能力。识别存在的问题并制定系统的改进方案。
改进和优化：基于演练结果和分析，制定改进计划并采取相应的措施。这可能包括修复漏洞、提高系统的容错性、优化资源利用等。确保经验教训被记录下来，以便未来的演练和运维中可以借鉴。
定期演练和持续改进：通过常态化混沌演练，确保系统的持续的稳定性和弹性。

3、成长阶段（23年）

经过22年的实战总结，23年618 Y 重点推进应用覆盖率提升，最终达到99.68%，零售TOP1。实践策略按照集团要求优先完成系统推荐的9大场景，同时有针对性选择一些特定的场景，完善系统监控，最终0/1级应用健康度>95分，高危项清零。大促期间各系统性能达标，无线上事故发生。在取得阶段性成绩的同时，离不开团队成员在每个阶段都严格遵循以下原则，高标准对待每一次演练：

目标驱动：确保每个演练都有明确的目标和预期结果，以便评估其有效性和价值。
渐进式迭代：逐渐增加演练场景的复杂度和挑战性，使团队能够适应变化并逐步提高系统的健壮性。
持续学习：定期复盘演练结果和反馈，记录每一次的实验案例、问题与挑战，并根据经验教训进行分类与分析、根据复盘结果进行调整和改进。
经验传承：根据总结的经验教训和成功实验案例，制定一份最佳实战指南。这些包含演练计划、场景选择、执行计划、监控以及研发问题处理机制等，帮助团队更好执行混沌演练。
跨团队协作：混沌演练与开发、运维、测试等团队紧密合作，跟混沌工程建设团队多次交流，共同推动应用系统的稳定性和健壮性。

三、混沌与传统测试的区别

混沌工程是一种帮助我们获得更多的关于系统的新认知的实验方法。它和已有的功能测试、集成测试等测试已知属性的方法有本质上的区别。混沌工程，旨在帮助我们获得更多的关于系统的新认知的实验方法，通常还能开辟出一个更广袤的对复杂系统的认知空间。

传统测试，旨在给定一个特定的条件，系统会输出一个特定的二元结果，它仅仅是对已知的系统属性可能的取值进行测验。

混沌工程的思维方式是主动去找故障，是探索性的。虽然按计划做好了降级预案，但是关闭节点时却引发了上游服务故障，进而引发雪崩，这不是靠故障注入或预先计划能发现的。

四、写在后面

混沌工程，是一种提高技术架构弹性能力的复杂技术手段，旨在将故障扼杀在襁褓之中，也就是在故障造成中断之前将它们识别出来。通过主动制造故障，测试系统在各种压力下的行为，识别并修复故障问题，避免造成严重后果。

随着系统新功能不断上线，依赖方变化等，均可能导致系统产生一系列未知故障，故混沌工程实践最重要的就是可持续，通过增加混沌实验的次数不断地发挥混沌工程的价值，Y一直在路上！

作者：京东零售李金萍马春荣

来源：京东云开发者社区