Python爬虫核心原理与实战详解

爬虫核心在于理解数据来源、组织与保护机制。第53讲聚焦HTTP协议本质、反爬三层结构、动态渲染破局及提取健壮性设计，强调观察验证与容错而非堆砌代码。

爬虫的核心不是写多少代码，而是理解数据怎么来、怎么被组织、怎么被保护，再针对性地应对。 第53讲聚焦“原理+实战”的结合点——不堆API，不炫技巧，专讲那些绕不开的底层逻辑和真实场景中反复踩坑的关键细节。

HTTP协议与请求本质：别把requests当黑箱

很多同学调通一个get请求就以为懂了HTTP，其实真正卡住的往往在状态码含义、请求头语义、重定向链路、Cookie生命周期这些地方。

• 200不代表页面内容可用（可能是前端JS渲染的空壳）
• 403常见于User-Agent缺失或格式异常，但有些站点会校验Accept-Language、Referer甚至请求时间间隔
• 302跳转后若未携带原始Cookie，后续请求可能认证失败——requests.Session()不是万能的，得看服务端怎么设Set-Cookie的Domain和Path
• 用curl -v 或浏览器Network面板对照看原始请求/响应头，比直接读文档更直观

反爬机制的三层结构：识别 → 拦截 → 惩戒

站点不是“有反爬”或“没反爬”，而是按风险分层响应。同一IP访问首页正常，搜关键词突然限流，大概率触发了行为分析层。

• 第一层（识别）：检查Headers、TLS指纹、鼠标轨迹、Canvas哈希等客户端特征
• 第二层（拦截）：返回验证码、跳转验证页、返回空HTML或混淆JS
• 第三层（惩戒）：IP封禁、账号冻结、请求延迟突增（如返回503带Retry-After）
• 实战建议：先用无头浏览器模拟登录+手动操作走通流程，再逐步替换为自动化模块，避免一上来就硬刚JS逆向

动态渲染页面的破局点：何时该上Selenium，何时该扣JS？

不是所有JS渲染都要启动浏览器。关键看数据是否藏在XHR接口里、是否需要执行复杂交互才能触发、JS逻辑是否加密或依赖运行时环境。

• 优先抓Network里的XHR/Fetch请求，复制curl命令用Python复现——90%的“动态页”实际是Ajax补全
• 若接口参数含时间戳、sign、token等，需逆向生成逻辑；先定位生成位置（搜索window.sign、__webpack_require__等线索），再用execjs或PyExecJS调用原生JS片段
• Selenium只在必须触发滚动、悬停、点击、表单填写等真实用户行为时启用，且务必加page_load_timeout + wait.until，避免超时误判

数据提取的健壮性设计：别让XPath崩在

多一个空格

网页结构稍一改，整个解析就挂——根本原因常是路径写得太“精确”，没考虑HTML的容错性和渲染差异。

• 用contains(@class, 'item')代替@class='item'，用normalize-space(text())代替text()，兼容换行和多余空格
• 对关键字段做多级fallback：先试XPath，失败则用正则从script标签里捞JSON，再不行查meta标签或og:*属性
• 每次抓取后加基础校验：字段非空、数量合理、日期可解析、链接能拼接——用assert或logging.warning快速暴露异常模式