Python在Linux上如何实现并发

Python在Linux上如何实现并发

在Linux环境下，想让Python程序跑得更快、处理更多任务，并发是绕不开的话题。好消息是，Python为此提供了不止一种“工具箱”，每种都有其独特的适用场景和脾气。选对了，事半功倍；选错了，可能事倍功半。

下面，我们就来逐一拆解这些常用的并发模型，看看它们各自的本事和局限在哪里。

1. 多线程（Threading）

说到并发，很多人第一个想到的就是多线程。Python标准库里的threading模块用起来确实方便。但这里有个关键点必须拎出来说：全局解释器锁（GIL）。在CPython解释器里，GIL的存在意味着同一时刻只有一个线程能执行Python字节码。

这直接导致了一个结果：对于纯粹拼计算能力的CPU密集型任务，开再多线程也未必能提速，因为它们本质上还是在“排队”使用CPU。那么，多线程就没用了吗？当然不是。它的用武之地在于I/O密集型任务。比如读写文件、发送网络请求，线程在等待这些“慢操作”完成时，会主动释放GIL，让其他线程有机会工作。这样一来，程序在等待期间就不用干坐着，可以去做别的事情，整体效率就上来了。

import threading

def worker():
    """线程执行的任务"""
    print('Worker')

threads = []
for i in range(5):
    t = threading.Thread(target=worker)
    threads.append(t)
    t.start()

for t in threads:
    t.join()

2. 多进程（Multiprocessing）

既然GIL限制了线程，那有没有办法绕开它呢？答案是：有，而且很直接——上多进程。multiprocessing模块就是干这个的。它的思路很清晰：既然一个解释器被锁住了，那我就多开几个解释器。

每个进程都拥有自己独立的内存空间和Python解释器，GIL的影响被限制在单个进程内部，进程之间是真正的并行。因此，对于计算量大的CPU密集型任务，多进程模型往往是提升性能的利器。当然，天下没有免费的午餐，进程的创建和切换开销比线程大，进程间通信也比线程间共享内存要复杂一些。

from multiprocessing import Process

def worker():
    """进程执行的任务"""
    print('Worker')

if __name__ == '__main__':
    processes = []
    for i in range(5):
        p = Process(target=worker)
        processes.append(p)
        p.start()

    for p in processes:
        p.join()

3. 异步编程（AsyncIO）

近年来，asyncio模块可以说是风头正劲。它提供了一种基于事件循环的并发模型，核心是协程。你可以把它理解为一种更轻量、更高效的“线程”，由程序自身来调度，在遇到I/O等待时主动让出控制权，而不是被操作系统强行切换。

这种方式特别适合处理成千上万的并发网络连接，比如构建Web服务器或爬虫。它用单线程就能达到极高的并发吞吐量，资源消耗远低于多线程或多进程。代码写起来，感觉像是在写同步代码，但实际跑起来却是异步的，非常巧妙。

import asyncio

async def worker():
    """异步任务"""
    print('Worker')

async def main():
    tasks = []
    for i in range(5):
        task = asyncio.create_task(worker())
        tasks.append(task)
    await asyncio.gather(*tasks)

asyncio.run(main())

4. 协程（Coroutines）

协程是asyncio的基石，值得单独拿出来说一说。它本质上是一个可以暂停和恢复执行的函数。通过async和await这两个关键字，我们可以清晰地标记出哪些地方会发生等待。当协程执行到await一个耗时的I/O操作时，它就会挂起，把CPU让给事件循环中的其他协程，等I/O完成后再回来继续执行。

这种“合作式”的多任务，避免了操作系统线程切换的开销，是高性能异步程序的秘密武器。

async def coroutine_example():
    print("Coroutine started")
    await asyncio.sleep(1)
    print("Coroutine ended")

asyncio.run(coroutine_example())

5. 第三方库

除了标准库，社区也贡献了一些优秀的第三方方案。比如gevent和eventlet，它们采用了“绿色线程”（greenlet）的概念。简单说，它们通过猴子补丁（monkey-patching）的方式，将标准库中阻塞式的I/O操作替换成异步版本，从而让开发者可以用近乎同步的编程风格，写出高并发的程序，对原有代码的侵入性相对较小。

看到这里，你可能有点眼花缭乱。到底该怎么选？其实秘诀就在于看菜下饭，量体裁衣。先分析你的任务性质：是计算为主（CPU密集型），还是等待为主（I/O密集型）？再考虑性能瓶颈和代码的复杂度。很多时候，在实际的复杂系统中，混合使用多种模型（例如，多进程处理计算，每个进程内使用异步I/O）才是达到最佳性能和资源利用率的王道。