当前位置:

首页 > 系统应用 > 微服务过载保护原理与实战

微服务过载保护原理与实战

在微服务中由于服务间相互依赖很容易出现连锁故障,连锁故障可能是由于整个服务链路中的某一个服务出现故障,进而导致系统的其他部分也出现故障。例如某个服务的某个实例由于过载出现故障,导致其他实例负载升高,从而导致这些实例像多米诺骨牌一样一个个全部出现故障,这种连锁故障就是所谓的雪崩现象比如,服务A依赖服务

本文目录

    在微服务中由于服务间相互依赖很容易出现连锁故障,连锁故障可能是由于整个服务链路中的某一个服务出现故障,进而导致系统的其他部分也出现故障。例如某个服务的某个实例由于过载出现故障,导致其他实例负载升高,从而导致这些实例像多米诺骨牌一样一个个全部出现故障,这种连锁故障就是所谓的雪崩现象

    比如,服务A依赖服务C,服务C依赖服务D,服务D依赖服务E,当服务E过载会导致响应时间变慢甚至服务不可用,这个时候调用方D会出现大量超时连接资源被大量占用得不到释放,进而资源被耗尽导致服务D也过载,从而导致服务C过载以及整个系统雪崩

    资源一旦耗尽,就可能引发高延迟、高错误率,或者导致相应数据不符合预期。这是资源耗尽时的必然现象,毕竟当负载持续上升直至过载,服务器不可能始终保持完全正常的运行状态。而CPU资源不足引发的负载上升,在我们的工作中最为常见。一旦CPU资源无法满足请求负载,通常所有请求都会变慢,CPU负载过高还会产生一系列副作用,主要包括以下几个方面:

    • 正在处理的(in-flight) 的请求数量上升
    • 服务器逐渐将请求队列填满,意味着延迟上升,同时队列会用更多的内存
    • 线程卡住,无法处理请求
    • cpu死锁或者请求卡主
    • rpc服务调用超时
    • cpu的缓存效率下降

    由此可见防止服务器过载的重要性不言而喻,而防止服务器过载又分为下面几种常见的策略:

    • 提供降级结果
    • 在过载情况下主动拒绝请求
    • 调用方主动拒绝请求
    • 提前进行压测以及合理的容量规划

    今天我们主要讨论的是第二种防止服务器过载的方案,即在过载的情况下主动拒绝请求,下面我统一使用”过载保护“来表述,过载保护的大致原理是当探测到服务器已经处于过载时则主动拒绝请求不进行处理,一般做法是快速返回error

    fail_fast

    很多微服务框架中都内置了过载保护能力,本文主要分析go-zero中的过载保护功能,我们先通过一个例子来感受下go-zero的中的过载保护是怎么工作的

    首先,我们使用官方推荐的goctl生成一个api服务和一个rpc服务,生成服务的过程比较简单,在此就不做介绍,可以参考官方文档,我的环境是两台服务器,api服务跑在本机,rpc服务跑在远程服务器

    远程服务器为单核CPU,首先通过压力工具模拟服务器负载升高,把CPU打满

    stress -c 1 -t 1000

    此时通过uptime工具查看服务器负载情况,-d参数可以高亮负载的变化情况,此时的负载已经大于CPU核数,说明服务器正处于过载状态

    watch -d uptime

    19:47:45 up 5 days, 21:55, 3 users, load average: 1.26, 1.31, 1.44

    此时请求api服务,其中ap服务内部依赖rpc服务,查看rpc服务的日志,级别为stat,可以看到cpu是比较高的

    "level":"stat","content":"(rpc) shedding_stat [1m], cpu: 986, total: 4, pass: 2, drop: 2"

    并且会打印过载保护丢弃请求的日志,可以看到过载保护已经生效,主动丢去了请求

    adaptiveshedder.go:185 dropreq, cpu: 990, maxPass: 87, minRt: 1.00, hot: true, flying: 2, avgFlying: 2.07

    这个时候调用方会收到 "service overloaded" 的报错

    通过上述试验可知,当服务器负载过高时,会触发过载保护,从而避免连锁故障引发雪崩。接下来,我们从源码角度分析过载保护的原理。go-zero在http和rpc框架中均内置了过载保护功能,其代码路径分别位于go-zero/rest/handler/sheddinghandler.go和go-zero/zrpc/internal/serverinterceptors/sheddinginterceptor.go。我们以rpc框架下的过载保护为例进行分析。在server启动时,会new一个shedder,代码路径为go-zero/zrpc/server.go:119。之后,当收到每个请求时,都会通过Allow方法判断是否需要进行过载保护。若err不等于nil,则表明需要进行过载保护,此时将直接返回error。

    promise, err = shedder.Allow()
    if err != nil {
    metrics.AddDrop()
    sheddingStat.IncrementDrop()
    return
    }

    实现过载保护的代码路径为: go-zero/core/load/adaptiveshedder.go,这里实现的过载保护基于滑动窗口可以防止毛刺,有冷却时间防止抖动,当CPU>90%的时候开始拒绝请求,Allow的实现如下

    func (as *adaptiveShedder) Allow() (Promise, error) {
    if as.shouldDrop() {
    as.dropTime.Set(timex.Now())
    as.droppedRecently.Set(true)

    return nil, ErrServiceOverloaded // 返回过载错误
    }

    as.addFlying(1) // flying +1

    return &promise{
    start: timex.Now(),
    shedder: as,
    }, nil
    }

    sholdDrop实现如下,该函数用来检测是否符合触发过载保护条件,如果符合的话会记录error日志

    func (as *adaptiveShedder) shouldDrop() bool {
    if as.systemOverloaded() || as.stillHot() {
    if as.highThru() {
    flying := atomic.LoadInt64(&as.flying)
    as.avgFlyingLock.Lock()
    avgFlying := as.avgFlying
    as.avgFlyingLock.Unlock()
    msg := fmt.Sprintf(
    "dropreq, cpu: %d, maxPass: %d, minRt: %.2f, hot: %t, flying: %d, avgFlying: %.2f",
    stat.CpuUsage(), as.maxPass(), as.minRt(), as.stillHot(), flying, avgFlying)
    logx.Error(msg)
    stat.Report(msg)
    return true
    }
    }

    return false
    }

    判断CPU是否达到预设值,默认90%

    systemOverloadChecker = func(cpuThreshold int64) bool {
    return stat.CpuUsage() >= cpuThreshold
    }

    CPU的负载统计代码如下,每隔250ms会进行一次统计,每一分钟没记录一次统计日志

    func init() {
    go func() {
    cpuTicker := time.NewTicker(cpuRefreshInterval)
    defer cpuTicker.Stop()
    allTicker := time.NewTicker(allRefreshInterval)
    defer allTicker.Stop()

    for {
    select {
    case <-cpuTicker.C:
    threading.RunSafe(func() {
    curUsage := internal.RefreshCpu()
    prevUsage := atomic.LoadInt64(&cpuUsage)
    // cpu = cpuᵗ⁻¹ * beta + cpuᵗ * (1 - beta)
    usage := int64(float64(prevUsage)*beta + float64(curUsage)*(1-beta))
    atomic.StoreInt64(&cpuUsage, usage)
    })
    case <-allTicker.C:
    printUsage()
    }
    }
    }()
    }

    其中CPU统计实现的代码路径为: go-zero/core/stat/internal,在该路径下使用linux结尾的文件,因为在go语言中会根据不同的系统编译不同的文件,当为linux系统时会编译以linux为后缀的文件

    func init() {
    cpus, err := perCpuUsage()
    if err != nil {
    logx.Error(err)
    return
    }

    cores = uint64(len(cpus))
    sets, err := cpuSets()
    if err != nil {
    logx.Error(err)
    return
    }

    quota = float64(len(sets))
    cq, err := cpuQuota()
    if err == nil {
    if cq != -1 {
    period, err := cpuPeriod()
    if err != nil {
    logx.Error(err)
    return
    }

    limit := float64(cq) / float64(period)
    if limit < quota {
    quota = limit
    }
    }
    }

    preSystem, err = systemCpuUsage()
    if err != nil {
    logx.Error(err)
    return
    }

    preTotal, err = totalCpuUsage()
    if err != nil {
    logx.Error(err)
    return
    }
    }

    在linux中,通过/proc虚拟文件系统向用户控件提供了系统内部状态的信息,而/proc/stat提供的就是系统的CPU等的任务统计信息,这里主要原理就是通过/proc/stat来计算CPU的使用率

    本文主要介绍了过载保护的原理,以及通过实验触发了过载保护,最后分析了实现过载保护功能的代码,相信通过本文大家对过载保护会有进一步的认识,过载保护不是万金油,对服务来说是有损的,所以在服务上线前我们最好是进行压测做好资源规划,尽量避免服务过载

    写作不易,如果觉得文章不错,欢迎 github star

    项目地址:

    https://github.com/tal-tech/go-zero

    https://gitee.com/kevwan/go-zero

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    悟空浏览器怎么彻底清理浏览器配置文件
    悟空浏览器怎么彻底清理浏览器配置文件

    彻底清理悟空浏览器的数据,通常有三个路径:通过手机系统设置能一次性清除所有配置和用户信息;利用浏览器内置功能,可以只清理缓存而保留个性化设置;最彻底的则是卸载重装,让应用回到初始状态。 悟空浏览器用久了,是不是偶尔会感觉变慢,或者出现一些难以解释的小毛病?有时候,与其一个个排查问题,不如来一次彻底的

    漫蛙漫画官网首页登录入口
    漫蛙漫画官网首页登录入口

    漫蛙漫画首页登录入口https://www.manwamh.top/:一触即达的漫画世界核心枢纽 对于漫画迷而言,找到那个可靠的资源门户至关重要。漫蛙漫画的首页登录入口,正是这样一个核心渠道。通过它,你可以直接跳转到漫蛙2漫画APP的下载页面,轻松几步完成安装,马上就能投入到精彩纷呈的漫画之旅中。 漫蛙漫画首页登录入口: 官方入口地址已经为你备好

    漫蛙漫画官方入口
    漫蛙漫画官方入口

    漫蛙漫画官方入口与核心功能解析 寻找一个稳定、资源丰富的漫画在线阅读平台,是许多漫画爱好者的共同需求。其中,漫蛙漫画官方入口及其免费全集服务,受到了不少关注。那么,这个平台究竟如何?下面,我们就来深入了解一下它的具体信息与特色功能。 平台的官方访问地址是:https://www.manwa123.c

    漫蛙动漫APP最新版本下载
    漫蛙动漫APP最新版本下载

    对于动漫爱好者而言,找到一个资源全、体验佳的追番平台,常常是件头疼事。漫蛙动漫APP的定位很明确:就是要打造一个聚合全球正版动漫资源的专属乐园。无论是当季火爆的日漫新番、值得回味的经典国创,还是那些小众却精彩的优质动画,在这里基本都能一网打尽。平台底层采用了智能缓冲技术,最大程度保证了播放的流畅度,

    漫蛙官网入口免费下载最新版
    漫蛙官网入口免费下载最新版

    想要获取正版manwa漫蛙APP?官方指定下载渠道就是漫蛙官网入口。 对于漫画迷而言,找到一款心仪的阅读神器至关重要。漫蛙APP正是这样一款专为全球漫画爱好者打造的平台,它汇聚了从日韩人气连载到本土原创精品的海量资源。说它“应有尽有”毫不为过。更重要的是,其界面设计清爽直观,搭配智能检索功能,能让用

    漫蛙漫画在线观看入口
    漫蛙漫画在线观看入口

    想要畅享海量正版漫画资源?漫蛙漫画平台不容错过 对于漫画迷来说,找到一个资源丰富、体验流畅的正版平台实属幸事。漫蛙漫画凭借其优质的在线阅读服务,已经成为了许多资深读者的心头好。今天,我们就来详细拆解一下平台的访问方法与实用技巧,助你轻松开启漫画之旅。 漫蛙漫画网页入口页面指南 想立刻体验?官方在线观

    漫蛙如何下载最新版本
    漫蛙如何下载最新版本

    漫蛙漫画网APP官方下载方法全解析 对于资深漫画迷来说,找到一个资源全、更新快、体验佳的阅读平台,就像淘到了宝藏。漫蛙漫画网APP,正是这样一个专为爱好者打造的精品集散地。它汇聚了全球优质的正版漫画,从火爆的日漫连载到崛起的国创佳作,平台都能做到实时同步更新。当然,第一步得先把它装到设备上。接下来,

    漫蛙漫画APP最新版本下载
    漫蛙漫画APP最新版本下载

    漫蛙漫画APP:专业漫画阅读工具的全面革新 作为一款专业的漫画阅读工具,漫蛙漫画APP整合了全球优质漫画资源,其升级版漫蛙2在功能与体验上可谓全面革新。这款应用不仅囊括日漫经典与国漫新作,更通过简洁直观的界面设计和流畅操作,为用户打造沉浸式阅读环境,充分满足各类漫画爱好者的多样化需求。 漫蛙漫画特色

    卖茶叶妈妈3d漫蛙安卓版下载
    卖茶叶妈妈3d漫蛙安卓版下载

    当下动漫圈热议的卖茶叶妈妈3d漫蛙下载,凭借其突破性的3D视觉技术成为焦点 最近动漫爱好者们都在讨论一个现象级产品——卖茶叶妈妈3d漫蛙下载。这款由漫蛙漫画平台倾力打造的3D作品专区,用立体建模与动态分镜彻底颠覆了传统二维漫画的阅读模式。你猜怎么着?现在只需通过专区提供的便捷下载通道,无论是热血冒险

    漫蛙下载最新版本
    漫蛙下载最新版本

    漫蛙APP:资深漫画迷的移动图书馆与阅读利器 对于漫画爱好者来说,找到一个资源全、体验好的阅读平台,从来都不是件容易的事。而漫蛙APP,恰恰就是为这个需求而生的。它凭借海量的正版漫画库和极其便捷的离线下载功能,在圈内积累了相当不错的口碑。更重要的是,从经典的日本热血漫到新兴的国产原创作品,它几乎一网

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。