当前位置:

首页 > 编程开发 > Python通过信号量控制多进程并发的完整示例

Python通过信号量控制多进程并发的完整示例

信号量通过计数器控制多进程并发访问,允许指定数量的进程同时进入临界区。需在主进程中创建信号量并作为参数传递给子进程,推荐使用with语句管理。示例中设置最大并发数3,模拟10个进程限流执行。

本文目录

    引言

    在 Python 的 multiprocessing 模块中,信号量(Semaphore) 是一把控制并发访问的“阀门”,跟互斥锁(Lock)那种“一夫当关”的风格不同——互斥锁一次只放行一个进程,信号量则允许指定数量的进程同时进入临界区。你可以把它想象成一个有固定数量钥匙的柜子:进程要干活,得先 acquire()(取走一把钥匙),干完活必须 release()(归还钥匙)。钥匙全部被取走时,后续进程就得排队等候。这个“钥匙”的数量,就是信号量允许的最大并发数。

    核心API

    • Semaphore(value=1):创建一个信号量对象。value 就是初始的“钥匙”数量,即允许的最大并发进程数。
    • acquire(blocking=True, timeout=None):请求一把“钥匙”。
      • 如果计数器 > 0,计数器减1,进程继续执行。
      • 如果计数器 = 0,进程阻塞,直到有可用的“钥匙”。
    • release():归还一把“钥匙”,计数器加1。
    • 上下文管理器:强烈推荐使用 with semaphore: 语句,它会自动帮你调用 acquire() 和 release(),即使代码抛出异常也能保证锁被释放,省心又安全。

    关键注意事项

    在多进程场景下,信号量的创建位置至关重要——这可能是新手最容易踩的坑。

    • 正确做法:必须在主进程中创建信号量,然后作为参数传递给子进程。
    • 错误做法:把信号量定义成全局变量。在 Windows 或 macOS(使用 'spawn' 方式创建进程)上,每个子进程都会重新导入模块,从而创建出各自的信号量副本,导致同步完全失效。这一点务必警惕。

    完整示例:模拟限流打印任务

    下面这个例子模拟了一个最多允许3个进程同时执行任务的场景,直观展示信号量的工作方式。

    import multiprocessing
    import time
    import random
    
    def worker(process_id, semaphore):
        """
        模拟一个工作进程。
        在进入临界区前,必须获取信号量。
        """
        # 使用 with 语句管理信号量,更安全
        with semaphore:
            # 进入临界区
            start_time = time.strftime("%H:%M:%S")
            print(f"[{start_time}] 进程 {process_id} 开始执行任务...")
            # 模拟一个耗时任务,耗时 1~3 秒
            work_duration = random.randint(1, 3)
            time.sleep(work_duration)
            end_time = time.strftime("%H:%M:%S")
            print(f"[{end_time}] 进程 {process_id} 任务完成 (耗时 {work_duration}秒)。")
    
    if __name__ == "__main__":
        # 1. 在主进程中创建信号量,指定最大并发数为 3
        # 这就像创建了一个有 3 把钥匙的锁
        max_concurrent = 3
        semaphore = multiprocessing.Semaphore(max_concurrent)
    
        # 2. 创建并启动 10 个工作进程
        processes = []
        for i in range(10):
            # 重要:将信号量对象作为参数传递给子进程
            p = multiprocessing.Process(target=worker, args=(i, semaphore))
            processes.append(p)
            p.start()
    
        # 3. 等待所有子进程结束
        for p in processes:
            p.join()
    
        print("所有任务执行完毕。")

    代码详解

    1. 创建信号量:semaphore = multiprocessing.Semaphore(3) 创建了一个允许 3 个进程同时进入临界区的信号量。
    2. 传递信号量:在创建 Process 时,将 semaphore 作为参数传入 worker 函数。这是确保所有进程共享同一个信号量的关键。
    3. 控制并发:在 worker 函数中,with semaphore: 语句块内的代码就是临界区。任何时候,最多只有3个进程能同时执行其中的代码。
    4. 模拟任务:time.sleep() 模拟了进程的实际工作。

    可能的输出结果(部分)

    [14:23:01] 进程 0 开始执行任务...
    [14:23:01] 进程 1 开始执行任务...
    [14:23:01] 进程 2 开始执行任务...
    [14:23:03] 进程 1 任务完成 (耗时 2秒)。
    [14:23:03] 进程 3 开始执行任务...   # 进程1释放信号量,进程3立刻开始
    [14:23:04] 进程 2 任务完成 (耗时 3秒)。
    [14:23:04] 进程 4 开始执行任务...
    ...

    从输出中可以清晰看到,开始执行任务 的消息不会连续出现超过3次。每当一个进程完成并释放信号量后,下一个等待的进程便会立即获取并开始执行。这就是信号量“限流”的直观体现。

    信号量 vs 进程池 (multiprocessing.Pool)

    这两种方式都能控制并发,但适用场景各有侧重:

    • Semaphore:更灵活,可以精确控制代码中任意一个代码块的并发数,而不仅仅是整个任务函数。
    • Pool:更高层,主要用于管理一组同质任务的并发执行。

    如果你的需求是“同时最多运行N个任务”,Pool 是更简单的选择。如果你的需求是“在任务执行过程中,某个特定资源的访问并发数不能超过N”,那么 Semaphore 才是更合适的工具。

    总结

    1. 核心思想:信号量通过一个计数器来控制对共享资源的并发访问数量。
    2. 关键用法:在 if __name__ == "__main__": 块中创建 multiprocessing.Semaphore(N),并作为参数传递给子进程。
    3. 最佳实践:使用 with semaphore: 语句管理信号量的获取和释放,避免死锁。
    4. 适用场景:限制对有限资源(如数据库连接、网络带宽、特定硬件)的并发访问。

    以上就是Python通过信号量控制多进程并发的完整示例。希望这个指南能帮你少踩坑,更优雅地管理并发资源。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 Python
    相关文章 更多
    python删除一个列表里的重复元素的方法与代码示例
    python删除一个列表里的重复元素的方法与代码示例

    学习如何使用Python高效删除列表中的重复元素。本文提供5种常见方法的代码示例,涵盖保持顺序与不保持顺序的场景,适合初学者和进阶开发者参考。

    Python写接口的步骤及完整代码示例
    Python写接口的步骤及完整代码示例

    详细讲解使用Python编写Web接口的核心步骤与完整代码示例,涵盖环境准备、路由定义、数据校验、服务启动及调试测试方法。

    codex怎么读取word文档及docx文件操作教程
    codex怎么读取word文档及docx文件操作教程

    介绍如何利用编程工具读取和解析Word文档(docx格式),涵盖基础文本提取代码示例、结构化数据处理逻辑,以及处理复杂排版时的技术局限与替代方案。

    怎么在Python中调用C语言代码提升性能
    怎么在Python中调用C语言代码提升性能

    详细讲解在Python中调用C语言代码提升性能的完整实践指南,包含原理分析、编译步骤、ctypes与CFFI具体实现、性能对比及常见陷阱。

    Python与C语言的性能差异及底层原理
    Python与C语言的性能差异及底层原理

    深入解析Python与C语言在执行效率上的数量级差异,从编译机制、变量内存布局、动态类型推断到GIL锁,系统阐明底层核心原理。

    Python和C语言哪个更适合编程入门
    Python和C语言哪个更适合编程入门

    客观对比Python与C语言在心智负担、底层机制与学习反馈上的核心差异,提供清晰有据的选择标准与切实的入门学习路径。

    selenium上传文件教程本地文件路径设置方法
    selenium上传文件教程本地文件路径设置方法

    深入解析Selenium处理文件上传的技术细节,涵盖标准HTML控件的路径直接注入法与非标准控件的系统级模拟方案,提供Windows与Linux环境下的路径设置最佳实践及常见异常排查。

    大数据开发语言选型:Java对比Scala与Python的优缺点及适用场景
    大数据开发语言选型:Java对比Scala与Python的优缺点及适用场景

    针对大数据工程场景,系统对比Java、Scala与Python在执行性能、生态结合、开发效率和维护成本上的核心差异,给出清晰的架构选型依据与落地方案。

    langgraph python guide中文入门教程详解
    langgraph python guide中文入门教程详解

    本篇LangGraph Python中文入门教程详解,系统梳理StateGraph状态机定义、节点编写、边与条件路由、检查点持久化(MemorySaver)等核心机制,提供从环境安装到完整循环智能体构建的代码示例与实操指导。

    Windows 安装 Python:从官方入口到虚拟环境的可复现实践
    Windows 安装 Python:从官方入口到虚拟环境的可复现实践

    面向后端开发者,基于 Python 官方文档说明如何在 Windows 上安装 Python、创建 venv 虚拟环境及使用 pip 管理依赖。包含可复制命令、验证方法及工具选择边界,避免常见配置误区。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。