当前位置:

首页 > 系统应用 > 面对不可避免的故障,我们造了一个“上帝视角”的控制台

面对不可避免的故障,我们造了一个“上帝视角”的控制台

混沌工程随着云原生的发展逐渐进入大家的视野,通过混沌工程可以很好地发现和解决在云原生化过程中的高可用问题。阿里巴巴在 2019 年开源了底层的混沌工程工具- chaosblade,今年年初再次开源混沌工程控制台 chaosblade-box,ChaosBlade 品牌进一步升级。本文主要围绕云原生面

本文目录

    混沌工程随着云原生的发展逐渐进入大家的视野,通过混沌工程可以很好地发现和解决在云原生化过程中的高可用问题。阿里巴巴在 2019 年开源了底层的混沌工程工具- chaosblade,今年年初再次开源混沌工程控制台 chaosblade-box,ChaosBlade 品牌进一步升级。本文主要围绕云原生面临的高可用挑战和混沌工程机遇,详细介绍开源控制台的设计、特性和实践和未来规划,旨在帮助企业更好的了解控制台并通过其来实现混沌工程落地,解决云原生系统下高可用问题。

    去年年底,AWS和Google都爆发了颇为严重的服务故障。AWS的故障源于处理数据流服务kinesis出了状况,致使众多云服务无法使用;Google的故障则是由于登录服务的扩容配额问题,导致多个服务不可用。从中不难发现,它们都存在因服务依赖不合理,致使一个服务故障就影响多个服务无法使用的情况,而且还缺少应急预案,整个故障恢复时间偏长,监控告警系统也不够完善。Google的故障发生几十分钟后才察觉到,AWS的CloudWatch更是处于不可用状态。毕竟故障难以避免,所有的事物都时刻面临着失败的风险。

    尤其随着敏捷开发、DevOps、微服务、云原生架构和治理的出现,应用的交付能力大大提升,但系统的复杂度也日益增加,在业务快速迭代的同时,如何保障业务持续的高可用性和稳定性面临着很大的挑战。混沌工程通过主动注入故障的方式,提前发现系统的薄弱点,推进架构的改进,最终实现业务韧性。

    打不倒我的必使我强大,建设韧性架构是混沌工程的目标。韧性架构包含两部分,一部分是韧性系统,比如具备冗余性、扩展性、降级熔断、故障隔离等,避免级联故障,构建容灾容错的韧性系统。另一部分是韧性组织,包含高效交付、故障预案、应急响应等组织协同建设。高度韧性的系统也会出现预期之外的故障,所以韧性的组织能弥补韧性系统缺失的部分,通过混沌工程构建极致的韧性架构。

    常见的云原生高可用架构架构基本上是基于多可用区,或者是跨地域级的容灾架构,业务应用采用微服务架构下集群部署,中间件具备容错容灾能力等等。从底层设施到上层业务,都存在潜在的故障风险,比如机房断网、整个可用区不可用、集群宕机、中间件节点 crash 等。从可用区到集群、主机,再到细粒度的请求,故障影响的爆炸半径逐渐减小,这也是混沌工程原则中非常重要的一点 -- 控制爆炸半径。控制爆炸半径的方式一般有两种:一是环境隔离,通过隔离实验的机房、集群等来控制影响面;二是基于实验工具或平台自身的场景控制能力,比如 chaosblade 实验工具,通过实验参数来控制实验粒度,比如微服务调用延迟,可以控制到单个服务接口、版本,甚至一次请求。下面我们来介绍一下 chaosblade 混沌实验工具。

    Chaosblade 是一款遵循混沌实验模型的混沌实验执行工具,具有场景丰富度高、简单易用等特点,而且扩展场景也特别方便,开源不久便被加入到 CNCF Landspace 中,成为主流的一款混沌工具。chaosblade 是个直接下载解压即可使用的工具,不需要安装,它支持的调用方式包含 CLI 方式,直接执行 blade 命令,这里举个做网络屏蔽的例子:我们添加 -h 参数就可以看到非常完善的命令提示,比如要一个 9520 端口调用做网络丢包,它的演练目标是 network;它的 action 是丢包;它的 matcher 就是调用远程的一个服务端口 9520。执行成功后会返回实验结果,每一个实验场景我们都会作为一个对象,它会返回一个实验对象的 UID,此 UID 用于后续的实验管理,比如销毁、查询实验都是通过此 UID 来做的。要销毁实验,也就是恢复实验,直接执行 blade destroy 命令就可以。

    Chaosblade可谓是相当强大,它能在多平台、多语言环境下大展身手,像Linux、Kubernetes、Docker这些平台都不在话下,Ja va、NodeJS、C++、Golang等语言应用也能完美支持。它涵盖了200多个场景,有着3000多个参数,能为用户提供极为丰富的场景和实验参数控制。若想查看详细的使用文档,包括案例、场景以及参数介绍,只需使用blade -h命令即可。接下来,咱们重点聊聊chaosblade对应用服务场景的支持。

    Chaosblade 支持 Ja va、C++、Golang、NodeJS 语言应用,其中对 Ja va 应用的支持能力更丰富,包含 OOM、线程池满、指定线程数、CPU 负载、codecache 满等 JVM 本身的场景,还支持很多常用组件,比如 Druid、Dubbo、Elasticsearch、HBase、HttpClient、Redis、Kafka、Lettuce、MongoDB、MySQL、PostgreSQL、RabbitMQ、RocketMQ、Servlet、Tars、gRPC 等。Ja va 场景更强大的一个功能是可用指定任意类和方法注入异常、延迟、篡改返回,甚至可以通过自己编写 Groovy 或 Ja va 脚本,实现更加复杂的实验场景来满足自身业务实验需求。还支持链路标识识别、请求数限制等能力。Golang 场景是通过编译时在任意代码行注入埋点逻辑来实现,目前支持修改变量值、修改参数值、修改返回值、异常、延迟、内存溢出和 Panic 场景。现在,已登记的试用或在使用的企业已经 40 家,其中包含一些深度合作共建的企业用户。下面我们举个例子来说明 chaosblade 故障注入的执行流程。

    以云原生 Dubbo 应用调用下游 PetQueryService 服务延迟三秒故障场景为例,我们可以通过 chaosblade 自带的 blade 工具或 kubectl 以及通过编码的方式来执行。此处列举了使用 kubectl 和自身的 blade 工具执行。先看使用 kubectl 执行,通过配置 ChaosBlade 类型的 YAML 文件,使用 kubectl apply 命令来创建实验,Kubernetes 会创建一条chaosblade 资源,后续通过 kubectl delete 命令删除此咨询即可恢复实验。创建好 chaosblade 资源后,chaosblade operator 监听 chaosblade 资源创建,查询目标容器,按需透传场景相关的实验工具,调用 blade 工具在容器内执行实验。使用 blade 执行,命令如上图,指定 K8s 下的 dubbo 应用注入延迟故障,通过 process 参数指定应用名、time 参数指定延迟时间、service 参数指定受影响的服务接口、names 参数和 container-names 分别指定 Pod 和 Container 名称,如果不清楚参数可以添加 -h 来查看命令帮助。

    通过以上案例可以看出 chaosblade 工具使用简单,而且支持丰富的实验场景,我们在此工具的基础上做了 ChaosBlade 品牌升级。

    我们开源了 chaosblade-box 混沌工程控制台,可实现混沌实验平台化操作,而且支持更多混沌工程实验工具的托管,比如 litmuschaos 等。品牌升级后,我们更进一步地解决了用户落地混沌工程的困难度,让用户将更多的精力放到推进系统韧性提升上,旨在通过混沌工程帮助企业解决系统云原生化过程中高可用问题。

    Chaosblade-box 是一个面向多集群、多环境、多语言的云原生混沌工程平台。关键功能如下所示:

    • 实现了实验工具自动化部署,无需用户登录到每台机器部署实验工具,简化用户部署成本。

    • 支持实验工具托管,现在已支持 litmuschaos ,后续会支持更多优秀的实验工具来满足各种实验场景需求。

    • 通过提供统一的混沌实验用户界面,屏蔽底层故障注入方式,让用户在同一个平台上实现不同工具的实验。

    • 支持实验目标自动获取、实验场景管理等等。

    • 支持多个实验维度,比如主机、Kubernetes、应用,其中 Kubernetes 又包含 Container、Pod、Node 实验维度。

    • 后续会更进一步支持混沌工程闭环,实现稳态定义、实验执行、稳态评估等,协助用户构建高可用的云原生系统。

    下面通过页面截图来了解一下 chaosblade-box 平台能力。

    通过上述图片可以看出 chaosblade-box 平台整体功能,在托管更多工具场景的基础上,标准化实验场景和实验管控界面,简化用户操作,降低使用门槛,提供详细的白屏化日志,便于问题跟踪和排查。接下来我们看下平台技术架构图。

    通过控制台页面可实现 chaosblade、litmus 等已托管的工具部署,按照社区的建立的混沌实验模型统一实验场景,根据主机、Kubernetes、应用来划分目标资源,通过目标管理器来控制,在实验创建页面,可以实现白屏化的目标资源选择。平台通过调用混沌实验执行来执行不同工具的实验场景,配合接入 prometheus 监控,可以观察实验 metric 指标,后续会提供丰富的实验报告。_Chaosblade-box 的部署也非常简单,具体可以查看:https://github.com/chaosblade-io/chaosblade-box/releases。

    下面我们通过一个杀 Pod 实验场景来介绍平台的使用。

    首先是部署 chaosblade-box,部署完成后,在实验列表页面创建实验,选择 Kubernetes Pod 实验维度,实验创建共分为四步,前两步资源选择和场景选择是必填项,后两步监控接入和实验名称是非必填项。在 Pods 列表中选择多个目标 Pods,然后选择杀 Pods 实验场景,对接 Prometheus Pod 监控,完成实验创建。在实验详情页面可以点击执行实验进入实验任务详情页面,查看实验详细信息。

    Chaosblade-box 后续规划重点在托管更多的实验工具,实现更多工具自动化部署,同时支持更多的语言应用,添加更加复杂的调度策略和流程编排,生成实验报告,实验报告分三个阶段,一是实验基础报告,包含实验和监控的基本信息,二是实验缺陷报告,包含实验中发现的问题,三是实验高可用建设报告,根据实验中发现的问题提出解决方案建议。

    具体的 Roadmap 可详见:https://github.com/chaosblade-io/chaosblade-box/wiki/Roadmap。

    ChaosBlade 品牌升级后,项目才刚刚开始,还有很多不完善的地方,欢迎大家下载使用,参与到项目建设中,也可登记企业使用情况到 issue 中,我们线下交流,登记地址:https://github.com/chaosblade-io/chaosblade/issues/32。

    • chaosblade 项目地址:https://github.com/chaosblade-io/chaosblade

    • chaosblade-box 项目地址:https://github.com/chaosblade-io/chaosblade-box

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    悟空浏览器怎么彻底清理浏览器配置文件
    悟空浏览器怎么彻底清理浏览器配置文件

    彻底清理悟空浏览器的数据,通常有三个路径:通过手机系统设置能一次性清除所有配置和用户信息;利用浏览器内置功能,可以只清理缓存而保留个性化设置;最彻底的则是卸载重装,让应用回到初始状态。 悟空浏览器用久了,是不是偶尔会感觉变慢,或者出现一些难以解释的小毛病?有时候,与其一个个排查问题,不如来一次彻底的

    漫蛙漫画官网首页登录入口
    漫蛙漫画官网首页登录入口

    漫蛙漫画首页登录入口https://www.manwamh.top/:一触即达的漫画世界核心枢纽 对于漫画迷而言,找到那个可靠的资源门户至关重要。漫蛙漫画的首页登录入口,正是这样一个核心渠道。通过它,你可以直接跳转到漫蛙2漫画APP的下载页面,轻松几步完成安装,马上就能投入到精彩纷呈的漫画之旅中。 漫蛙漫画首页登录入口: 官方入口地址已经为你备好

    漫蛙漫画官方入口
    漫蛙漫画官方入口

    漫蛙漫画官方入口与核心功能解析 寻找一个稳定、资源丰富的漫画在线阅读平台,是许多漫画爱好者的共同需求。其中,漫蛙漫画官方入口及其免费全集服务,受到了不少关注。那么,这个平台究竟如何?下面,我们就来深入了解一下它的具体信息与特色功能。 平台的官方访问地址是:https://www.manwa123.c

    漫蛙动漫APP最新版本下载
    漫蛙动漫APP最新版本下载

    对于动漫爱好者而言,找到一个资源全、体验佳的追番平台,常常是件头疼事。漫蛙动漫APP的定位很明确:就是要打造一个聚合全球正版动漫资源的专属乐园。无论是当季火爆的日漫新番、值得回味的经典国创,还是那些小众却精彩的优质动画,在这里基本都能一网打尽。平台底层采用了智能缓冲技术,最大程度保证了播放的流畅度,

    漫蛙官网入口免费下载最新版
    漫蛙官网入口免费下载最新版

    想要获取正版manwa漫蛙APP?官方指定下载渠道就是漫蛙官网入口。 对于漫画迷而言,找到一款心仪的阅读神器至关重要。漫蛙APP正是这样一款专为全球漫画爱好者打造的平台,它汇聚了从日韩人气连载到本土原创精品的海量资源。说它“应有尽有”毫不为过。更重要的是,其界面设计清爽直观,搭配智能检索功能,能让用

    漫蛙漫画在线观看入口
    漫蛙漫画在线观看入口

    想要畅享海量正版漫画资源?漫蛙漫画平台不容错过 对于漫画迷来说,找到一个资源丰富、体验流畅的正版平台实属幸事。漫蛙漫画凭借其优质的在线阅读服务,已经成为了许多资深读者的心头好。今天,我们就来详细拆解一下平台的访问方法与实用技巧,助你轻松开启漫画之旅。 漫蛙漫画网页入口页面指南 想立刻体验?官方在线观

    漫蛙如何下载最新版本
    漫蛙如何下载最新版本

    漫蛙漫画网APP官方下载方法全解析 对于资深漫画迷来说,找到一个资源全、更新快、体验佳的阅读平台,就像淘到了宝藏。漫蛙漫画网APP,正是这样一个专为爱好者打造的精品集散地。它汇聚了全球优质的正版漫画,从火爆的日漫连载到崛起的国创佳作,平台都能做到实时同步更新。当然,第一步得先把它装到设备上。接下来,

    漫蛙漫画APP最新版本下载
    漫蛙漫画APP最新版本下载

    漫蛙漫画APP:专业漫画阅读工具的全面革新 作为一款专业的漫画阅读工具,漫蛙漫画APP整合了全球优质漫画资源,其升级版漫蛙2在功能与体验上可谓全面革新。这款应用不仅囊括日漫经典与国漫新作,更通过简洁直观的界面设计和流畅操作,为用户打造沉浸式阅读环境,充分满足各类漫画爱好者的多样化需求。 漫蛙漫画特色

    卖茶叶妈妈3d漫蛙安卓版下载
    卖茶叶妈妈3d漫蛙安卓版下载

    当下动漫圈热议的卖茶叶妈妈3d漫蛙下载,凭借其突破性的3D视觉技术成为焦点 最近动漫爱好者们都在讨论一个现象级产品——卖茶叶妈妈3d漫蛙下载。这款由漫蛙漫画平台倾力打造的3D作品专区,用立体建模与动态分镜彻底颠覆了传统二维漫画的阅读模式。你猜怎么着?现在只需通过专区提供的便捷下载通道,无论是热血冒险

    漫蛙下载最新版本
    漫蛙下载最新版本

    漫蛙APP:资深漫画迷的移动图书馆与阅读利器 对于漫画爱好者来说,找到一个资源全、体验好的阅读平台,从来都不是件容易的事。而漫蛙APP,恰恰就是为这个需求而生的。它凭借海量的正版漫画库和极其便捷的离线下载功能,在圈内积累了相当不错的口碑。更重要的是,从经典的日本热血漫到新兴的国产原创作品,它几乎一网

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。