Python爬虫如何抓取全站图片_实现深度爬取逻辑并过滤重复图
全站图片抓取需关注页面层级关系与URL边界管理，用requests+BeautifulSoup递归爬取并控制深度。图片提取需处理src、data-src等属性，过滤占位图与base64。去重采用URL归一化与哈希指纹双保险，避免重复下载。使用asyncio+aiohttp配合并发控制及重试机制，稳定性优于多线程。
全站图片抓取这个需求，听起来简单，但真正做起来，坑往往不在“请求”和“解析”本身，而在于对页面结构的理解、URL的边界管理，以及如何避免重复劳动。下面把几个核心环节拆开来讲，希望能让大家的思路更清晰。
用 requests + BeautifulSoup 实现多层页面递归抓取
深度爬取不是靠“多开几个线程”硬扫出来的，关键是要弄明白页面之间的层级关系和入口发现逻辑。举个例子，从首页开始，我们得去提取所有 链接，然后过滤出那些属于同一域名的子路径（比如 /blog/、/product/123），再逐个请求这些页面，并从中提取图片链接。这个过程必须控制好深度，否则很容易陷入无限跳转，或者把静态资源目录也爬了个遍，带来不必要的负担。
经验之谈是：
- 用
urlparse判断链接是否同源，果断排除外链、mailto:、ja vascript:等伪协议。 - 维护一个已访问集合
visited_urls = set()，每次生成新 URL 前先检查是否已经存在，避免重复劳动。 - 限制最大递归深度（例如
max_depth=3），防止进入分页嵌套或评论加载页这种“无底洞”。 - 对响应状态码做判断：只处理
200，跳过404、503、302（除非你主动处理重定向）。
怎么准确提取页面中所有有效图片 URL
很多新手会直接搜 data-src，甚至还有 CSS 背景图。真正需要下载的，是那些能被 requests.get() 直接获取的、有明确扩展名（.jpg、.png、.webp）且不是相对路径或空值的 URL。
这里有几个常见的新手容易忽略的点：
- 同时检查
src、data-src、data-original属性，但优先级要分清。例如，data-src存在时，可以忽略src，因为后者往往是占位图。 - 用正则过滤掉 base64 字符串：
^data:image/开头的直接跳过，它们不是独立的资源文件。 - 将相对路径补全为绝对 URL：用
urllib.parse.urljoin(current_url, img_src)这个函数，能省去很多拼接的麻烦。 - 对补全后的 URL 做简单校验：包含常见图片后缀，不包含
icon、sprite、logo-small等关键词（当然，这需要根据实际站点的情况来调整）。
去重不只是比对 URL 字符串
同一个图片可能通过不同 URL 访问，比如带了参数、大小写不一样、或者 CDN 域名不同。如果只靠字符串相等判断，就会漏掉很多重复。但要是全量下载后再算 MD5，又太耗费资源。更可行的方案是“URL 归一化 + 关键字段哈希”双保险。
具体做法可以参考：
- 归一化步骤：转小写、移除
utm_*和ref=这类追踪参数、标准化 CDN 域名（比如把img1.example.com统一替换成cdn.example.com）。 - 对归一化后的 URL 取
hashlib.md5(url.encode()).hexdigest()[:8]作为轻量指纹，这样既能快速判断，又不会占用太多内存。 - 内存中用
set()存指纹，文件落地前再对首 1KB 做一次快速校验，以防极小概率的碰撞问题。 - 需要注意：不要依赖
Content-Disposition或filename，因为很多服务器根本不返回这个头信息。
为什么用 asyncio + aiohttp 比多线程更稳
图片请求本质上是大规模的短连接 I/O 密集型任务。Python 的多线程受 GIL 限制，实际并发数上不去，还容易因为 DNS 解析阻塞而卡死。而 aiohttp 复用连接池，自带超时和重试机制，配合 asyncio.Semaphore 控制并发数（比如限制 10 个并发），稳定性要高得多。
几点操作建议：
- 设置
timeout=aiohttp.ClientTimeout(total=10)，避免单个请求拖垮整个协程池。 - 启用连接池：
connector = aiohttp.TCPConnector(limit=100, limit_per_host=30)，防止对单个域名发起过多请求，导致被限制。 - 遇到
ClientConnectorError或ServerDisconnectedError时，自动重试 2 次，别让一个失败中断全部流程。 - 避免在协程里直接写文件，可以用
loop.run_in_executor()把保存逻辑扔给线程池处理，这样更高效。
当然，真实场景里最麻烦的往往不是代码写不出来，而是网站结构动态变化、反爬策略升级、CDN 返回 403 却不报错、或者某类图片实际是前端 JS 渲染出来的。这些情况没法靠通用逻辑完全覆盖，需要结合 playwright 或手动分析 network 面板，确认真实的请求来源。
本篇LangGraph Python中文入门教程详解，系统梳理StateGraph状态机定义、节点编写、边与条件路由、检查点持久化（MemorySaver）等核心机制，提供从环境安装到完整循环智能体构建的代码示例与实操指导。
面向后端开发者，基于 Python 官方文档说明如何在 Windows 上安装 Python、创建 venv 虚拟环境及使用 pip 管理依赖。包含可复制命令、验证方法及工具选择边界，避免常见配置误区。
针对Windows初学者的Python安装实战指南。详细讲解如何从Python官网下载匹配架构的安装包，重点演示安装首屏勾选“Add python.exe to PATH”的关键操作，并提供使用python --version和py命令验证环境变量的具体步骤，帮助新手快速搭建开发环境并排查路径问题。
刚在Windows安装好Python却不知道如何启动？本文详细演示如何通过开始菜单找到并打开IDLE集成开发环境，以及如何在PowerShell或命令提示符中使用python和py命令启动交互式解释器、运行.py脚本文件。包含退出解释器的方法及常见启动问题排查，帮助初学者快速验证安装成功并开始编写代码。
了解Python编程领域中最好的就业行业导语：近年来，Python作为一种易学易用的编程语言，越来越受到企业和开发者的青睐。在Python编程领域中，有许多就业机会，涵盖了各个行业。本文将介绍一些Python编程领域中最好的就业行业，并提供相应的代码示例。数据科学和机器学习数据科学和机器学习是Python编程领域中最热门的行业之一。Python在数据科学和机
针对Python处理CSV文件时常见的编码报错、内存溢出和数据类型错误，本文对比标准库csv与Pandas库的适用场景，提供可复制的代码示例和因果排查思路，帮助开发者选择最优处理方案。
本文介绍如何使用Python的sorted函数对字典按值进行升序和降序排序，结合具体代码示例和应用场景，帮助读者理解排序逻辑及其在数据处理中的实际价值。
深入讲解Python中使用re.sub进行正则匹配与替换的技巧，涵盖基础语法、分组引用及回调函数应用，帮助开发者解决复杂字符串修改需求，提升代码效率与可维护性。
Skyvern是一款基于大语言模型的开源浏览器自动化框架，目前仅提供英文界面且无官方中文版。本文指导用户通过GitHub获取源码，使用Docker快速部署本地环境，并解释其如何通过DOM树解析与自然语言指令实现网页自动操作，同时提供针对中文用户的配置建议与替代方案。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，