当前位置:

首页 > 编程开发 > 实现带 jitter 的指数退避重试(不依赖 backoff 库)可以通过手动计算重试间隔,并在每次重试时添加随机抖动(jitter)来避免多个请求同时重试,从

实现带 jitter 的指数退避重试(不依赖 backoff 库)可以通过手动计算重试间隔,并在每次重试时添加随机抖动(jitter)来避免多个请求同时重试,从

<p>urllib3.Retry通过自定义backoff_func实现带jitter的指数退避,公式为min(backoff_max,(2retry_count)backoff_factorrandom.uniform(0.5,1.5)),需设backoff_factor=0避免叠加,默认返回值即sleep秒数。</p>

urllib3.Retry 通过自定义 backoff_func 实现带 jitter 的指数退避,公式为 min(backoff_max, (2 retry_count) backoff_factor random.uniform(0.5, 1.5)),需设 backoff_factor=0 避免叠加,默认返回值即 sleep 秒数。

requests 如何实现带 jitter 的指数退避重试(不依赖 backoff 库)

requests 自带重试机制不支持 jitter,必须手动封装

requests 的 urllib3.Retry 能做指数退避,但所有重试间隔是确定的(如 1s、2s、4s),没有随机抖动(jitter)。生产环境直接用它容易触发服务端限流或雪崩,必须自己加 jitter —— 也就是在每次计算出的基础等待时间上乘一个 [0.5, 1.5) 之间的随机因子。

用 urllib3.Retry + 自定义 backoff_func 实现 jitter

urllib3.Retry 允许传入 backoff_factor 和 backoff_max,但它默认的退避逻辑是线性的(实际是指数,但无 jitter)。真正可控的方式是传入自定义的 backoff_func 参数,该函数接收重试次数 retry_count,返回应等待的秒数。

  • 基础公式: base = min(backoff_max, (2 ** retry_count) * backoff_factor)
  • jitter 部分:乘以 random.uniform(0.5, 1.5),避免重试请求扎堆
  • 注意:这个函数只在 urllib3 内部调用,不能抛异常,也不能依赖外部状态
import random
import time
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def jittered_backoff(retry_count): base = (2 * retry_count) 0.5 # backoff_factor=0.5 max_wait = 60.0 return min(max_wait, base * random.uniform(0.5, 1.5))

retry_strategy = Retry( total=5, status_forcelist=[429, 500, 502, 503, 504], backoff_factor=0, # 必须设为 0,否则会叠加默认逻辑 backoff_max=60, backoff_func=jittered_backoff, )

adapter = HTTPAdapter(max_retries=retry_strategy) session = requests.Session() session.mount("http://", adapter) session.mount("https://", adapter)

requests.Session 不会自动 sleep,需在 backoff_func 中控制阻塞

很多人误以为 backoff_func 返回值会被 urllib3 自动用于 time.sleep() —— 实际上不是。urllib3 仅用它来决定是否重试(比如超时前还剩多少时间),真正的等待逻辑在它内部实现。但关键点是:**只有当 backoff_func 返回值 ≤ 剩余重试时间时,urllib3 才会 sleep 对应时长**。所以你返回的值就是最终 sleep 秒数,不需要额外 time.sleep()。

  • 如果你返回 3.7,urllib3 就会 sleep 约 3.7 秒(精度取决于系统调度)
  • 返回负数或 None 会导致立即重试(不推荐)
  • 若用 Retry(total=3),retry_count 取值为 0, 1, 2(不是 1~3)

注意 time.monotonic() vs time.time() 与系统时钟漂移

urllib3 内部用 time.monotonic() 计算剩余等待时间,所以你的 backoff_func 返回值不会受系统时间回拨影响。这点不用额外处理,但如果你在自定义重试逻辑里手动 sleep,就得自己用 monotonic() 校验 —— 而用 backoff_func 方式就天然规避了这个问题。

真正容易被忽略的是:jitter 的随机源必须是线程安全的。如果 session 被多线程共用(比如在 FastAPI 的全局 client 里),random.uniform() 默认使用全局 random.Random 实例,在 CPython 中是线程安全的,但不保证跨平台;更稳妥的做法是每个重试策略绑定独立的 random.Random 实例,不过对绝大多数场景,直接用 random.uniform 已足够。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
作者最新文章
编程开发
相关文章 更多
漫蛙Manwa3最新版1.1.21下载与使用指南
漫蛙Manwa3最新版1.1.21下载与使用指南

漫蛙Manwa3 APP最新版下载地址:https://www.manwamh.top/,这里包含核心功能与操作流程。针对账号注册、VIP开通及阅读设置等关键环节,本文详细梳理了从手机号注册登录、浏览热门榜单到开启高清无广告阅读的具体步骤。涵盖多语言切换、云同步、断点续传及多种阅读模式调整方法,帮助用户快速掌握软件用法,享受流畅的追漫体验。

islide侧边关了怎么打开侧边栏恢复教程
islide侧边关了怎么打开侧边栏恢复教程

iSlide设计工具侧边栏不见了怎么办?本教程详解在Windows版PPT中通过【设计工具】按钮恢复侧边栏的方法,涵盖面板拖拽、模块隐藏检查及插件加载异常的处理,同时提供macOS用户的使用指引。

Flutter状态管理框架有哪些?常用框架选择指南
Flutter状态管理框架有哪些?常用框架选择指南

全面盘点Flutter主流状态管理框架,深度解析Provider、Riverpod、Bloc与GetX的核心机制、优缺点及适用场景,提供系统化的状态管理选型指南。

netlimiter使用教程详解软件设置方法与操作步骤
netlimiter使用教程详解软件设置方法与操作步骤

新手入门 NetLimiter 必读指南。详解 Activity 实时监控、DL/UL Limit 限速设置、Blocker 阻止规则及 Stats 流量统计功能。图文结合展示规则编辑器操作,助你轻松管理 Windows 应用网络带宽。

linux复制文件并改名命令及操作示例
linux复制文件并改名命令及操作示例

在Linux系统中,复制文件并改名并没有单独的独立命令,而是通过标准复制命令cp在指定目标路径时直接写上新文件名来完成。本文详解cp命令复制并重命名的操作语法、同目录与跨目录示例、常用安全参数及目录复制实践。

blender导出动画贴图怎么设置的详细教程
blender导出动画贴图怎么设置的详细教程

学习如何将Blender中的动态材质导出为图片序列。涵盖输出路径设置、PNG格式选择、帧范围确认及Image Sequence贴图的重新载入方法,适合需要保留透明通道或后期处理的动画贴图工作流。

锁屏启动安装配置要求是什么及安装前检查方法
锁屏启动安装配置要求是什么及安装前检查方法

想在iPhone或iPad上实现锁屏一键直达?本文详解“锁屏启动”的安装前检查清单、系统权限配置步骤及小组件添加方法,解决组件不显示、点击无反应等常见问题,确保快捷指令、网页和App快速启动。

blender hdr渲染设置哔哩哔哩详细操作教程
blender hdr渲染设置哔哩哔哩详细操作教程

学习如何在Blender中使用HDRI进行渲染。通过World着色器连接Environment Texture节点,调整光照强度与环境方向,解决背景显示与曝光问题,快速提升场景真实感。

sql条件判断字符串不包含某个字符串的方法详解
sql条件判断字符串不包含某个字符串的方法详解

深入详解在SQL中进行条件判断字符串不包含某个子串的方法,涵盖标准NOT LIKE、各主流数据库(MySQL、PostgreSQL、SQL Server、Oracle)专有位置函数、正则表达式判断,剖析NULL值三值逻辑陷阱及全表扫描性能优化策略。

IDM安装配置教程及详细操作步骤
IDM安装配置教程及详细操作步骤

新手必读的IDM安装配置教程。从官方下载开始,逐步讲解如何完成Windows安装、启用Chrome/Edge/Firefox浏览器扩展、设置默认保存目录及调整连接线程,解决IDM不弹窗接管下载的常见问题。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

PDF教程
PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

Mac软件 更多
Postman macOS版
Postman macOS版
Mac

Postman是一套面向API全生命周期的开发与测试平台,可在Mac上发送和调试多种协议请求,管理集合、环境及认证信息,并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用,提供个人免费方案。

Docker Desktop macOS版
Docker Desktop macOS版
Mac

Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境,集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。

Android Studio macOS版
Android Studio macOS版
Mac

Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境,基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。

WINDOWS 更多
PixPix 网页版
PixPix 网页版
Windows

PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台,提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。

Postman Windows版
Postman Windows版
Windows

Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求,并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等

Docker Desktop Windows版
Docker Desktop Windows版
Windows

Docker Desktop 为 Windows 开发者提供集成式容器环境,内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件,可在本机完成镜像构建、容器运行、日志查看和资源管理。