Python爬虫如何抓取全站图片_实现深度爬取逻辑并过滤重复图

全站图片抓取这个需求，听起来简单，但真正做起来，坑往往不在“请求”和“解析”本身，而在于对页面结构的理解、URL的边界管理，以及如何避免重复劳动。下面把几个核心环节拆开来讲，希望能让大家的思路更清晰。

用 requests + BeautifulSoup 实现多层页面递归抓取

深度爬取不是靠“多开几个线程”硬扫出来的，关键是要弄明白页面之间的层级关系和入口发现逻辑。举个例子，从首页开始，我们得去提取所有 链接，然后过滤出那些属于同一域名的子路径（比如 /blog/、/product/123），再逐个请求这些页面，并从中提取图片链接。这个过程必须控制好深度，否则很容易陷入无限跳转，或者把静态资源目录也爬了个遍，带来不必要的负担。

• 归一化步骤：转小写、移除 utm_* 和 ref= 这类追踪参数、标准化 CDN 域名（比如把 img1.example.com 统一替换成 cdn.example.com）。
• 对归一化后的 URL 取 hashlib.md5(url.encode()).hexdigest()[:8] 作为轻量指纹，这样既能快速判断，又不会占用太多内存。
• 内存中用 set() 存指纹，文件落地前再对首 1KB 做一次快速校验，以防极小概率的碰撞问题。
• 需要注意：不要依赖 Content-Disposition 或 filename，因为很多服务器根本不返回这个头信息。

为什么用 asyncio + aiohttp 比多线程更稳

图片请求本质上是大规模的短连接 I/O 密集型任务。Python 的多线程受 GIL 限制，实际并发数上不去，还容易因为 DNS 解析阻塞而卡死。而 aiohttp 复用连接池，自带超时和重试机制，配合 asyncio.Semaphore 控制并发数（比如限制 10 个并发），稳定性要高得多。

几点操作建议：

• 设置 timeout=aiohttp.ClientTimeout(total=10)，避免单个请求拖垮整个协程池。
• 启用连接池：connector = aiohttp.TCPConnector(limit=100, limit_per_host=30)，防止对单个域名发起过多请求，导致被限制。
• 遇到 ClientConnectorError 或 ServerDisconnectedError 时，自动重试 2 次，别让一个失败中断全部流程。
• 避免在协程里直接写文件，可以用 loop.run_in_executor() 把保存逻辑扔给线程池处理，这样更高效。

当然，真实场景里最麻烦的往往不是代码写不出来，而是网站结构动态变化、反爬策略升级、CDN 返回 403 却不报错、或者某类图片实际是前端 JS 渲染出来的。这些情况没法靠通用逻辑完全覆盖，需要结合 playwright 或手动分析 network 面板，确认真实的请求来源。