Python异步爬虫怎么实现\_asyncio入门教程

Python异步爬虫核心是asyncio+aiohttp，通过单线程协程切换提升I/O效率；需用async/await语法、aiohttp替代requests、Semaphore控制并发、妥善处理异常与重试，并在外层调用asyncio.run启动事件循环。

Python异步爬虫的核心是 asyncio + aiohttp，不是用多线程或 multiprocessing 模拟并发，而是让单线程在等待网络响应时切换去处理其他任务，大幅提升 I/O 密集型场景（比如发大量 HTTP 请求）的效率。

理解 async/await 的基本逻辑

异步函数必须用 async def 定义，调用时不能直接执行，得交给事件循环运行；遇到 await 时，当前协程会“让出”控制权，等被 await 的对象（如网络响应）就绪后再继续。

• 普通函数（同步）：一行行执行，遇到 requests.get() 就卡住，直到响应回来
• 异步函数（async）：遇到 await aiohttp.ClientSession().get(...) 会暂停，立刻去跑别的协程
• await 后面必须是可等待对象（Awaitable）：比如协程、Task、Future，不能是普通函数或 requests.Response

用 aiohttp 替代 requests 发异步请求

requests 是同步库，不支持 await；aiohttp 是专为 asyncio 设计的异步 HTTP 客户端。它需要配合 ClientSession 使用，且 session 应复用（不要每次请求都新建）。

• 正确写法：创建一次 session，用 await session.get(url) 发请求
• 错误写法：在 async 函数里调用 requests.get() —— 会阻塞整个事件循环
• 记得用 async with session.get(...) 或手动 await resp.text() / resp.json() 获取响应内容

并发控制：别一次性发起几千个请求

虽然 asyncio 能轻松启动成百上千个协程，但目标网站可能封 IP、限流，本机也可能耗尽文件描述符或内存。推荐用 asyncio.Semaphore 限制并发数。

• 初始化 semaphore = asyncio.Semaphore(10)，表示最多同时 10 个请求在跑
• 每个请求前加 async with semaphore:，自动获取/释放许可
• 配合 asyncio.gather() 批量调度任务，比 for + await 更高效

异常处理和重试不能少

网络请求随时可能超时、断连、返回 4xx/5xx。异步环境下 try/except 依然有效，但要注意：timeout 需用 aiohttp 的 timeout 参数，不是 time.sleep。

• 设置 timeout=asyncio.Timeout(10) 防止某个请求卡死拖慢整体
• 对 429（限流）、503（服务不可用）等状态码做简单重试（带指数退避更稳妥）
• 记录失败 URL 和原因，方便后续排查，别让一个失败导致整个爬虫退出

不复杂但容易忽略：始终把 event loop 的启动（asyncio.run(main())）放在最外层，别在 Jupyter 或某些 IDE 里反复运行导致 loop 已关闭报错。