答案：使用Python的requests和lxml库，通过发送请求、XPath解析提取小说标题和正文，可批量爬取并保存内容。需注意动态加载、反爬机制及版权问题。
答案：使用Python的requests和lxml库，通过发送请求、XPath解析提取小说标题和正文，可批量爬取并保存内容。需注意动态加载、反爬机制及版权问题。
在Python中使用XPath爬取小说，主要是借助requests获取网页内容，再用lxml库解析HTML并使用XPath提取章节标题、正文等信息。下面是一个实用的流程说明。
安装所需库
你需要先安装requests和lxml：
pip install requests lxml
基本步骤与代码示例
以爬取某小说网站的一章内容为例（注意：仅用于学习，请遵守目标网站的robots协议和法律法规）。
1. 发送请求获取页面
使用requests模拟浏览器访问小说章节页面：
import requests
from lxml import html
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
url = 'https://example-novel-site.com/chapter-1' # 替换为实际网址
response = requests.get(url, headers=headers)
response.encoding = 'utf-8' # 根据网页编码调整，常见为 utf-8 或 gbk
tree = html.fromstring(response.text)
2. 使用XPath提取内容
通过浏览器开发者工具（F12）查看小说标题和正文所在的HTML标签，构造XPath表达式。
# 提取章节标题，假设标题在 中
title = tree.xpath('//h1[@class="title"]/text()')
title = title[0].strip() if title else '未知标题'
提取正文内容，假设段落在 内的 p 标签中
content_list = tree.xpath('//div[@id="content"]//p/text()')
content = '\n'.join([line.strip() for line in content_list if line.strip()])
3. 保存到本地文件
with open('chapter_1.txt', 'w', encoding='utf-8') as f:
f.write(f"{title}\n\n{content}")
批量爬取多章节
如果要爬整本小说，可先获取目录页的所有章节链接：
catalog_url = 'https://example-novel-site.com/catalog'
response = requests.get(catalog_url, headers=headers)
tree = html.fromstring(response.text)
假设章节链接在
links = tree.xpath('//div[@class="list"]//a/@href')
for i, link in enumerate(links[:10]): # 先测试前10章
chapter_url = 'https://example-novel-site.com' + link
重复上面的请求和提取逻辑
# ...
注意事项
使用XPath爬取小说时需注意以下几点：
- 部分网站使用JavaScript动态加载内容，
requests + lxml无法获取，需改用Selenium或Playwright - 频繁请求可能触发反爬机制，建议添加
time.sleep()延时 - 尊重版权，仅限个人学习或测试，不要大规模传播或商用
- 检查
robots.txt，避免抓取禁止内容
基本上就这些。掌握XPath语法和网页结构分析能力后，爬取小说会变得很直接。
XPath的定义、基础语法、使用示例和高级用法
XPath是用于XML和HTML文档中定位与选择节点的语言，支持路径表达式、谓词筛选及多种节点类型，具备轴、函数等高级功能，在网页数据抓取和自动化测试中广泛应用，能高效提取所需数据。
xpath简介_动力节点Java学院整理
XPath通过路径表达式选择XML节点，支持绝对路径与相对路径。基本规则包括节点名称、斜杠、双斜杠和@符号选择节点。谓语条件用方括号筛选，如位置、属性值比较。通配符*匹配任意元素，@*匹配任意属性，|连接多个路径。
C# XPath查询报错？常见错误与调试方法
XPath语法错误常见于大小写不匹配、路径缺少斜杠或引号不闭合，应使用标准格式如//Element[@Attribute='Value']；2.命名空间需通过XmlNamespaceManager显式注册，否则无法匹配带命名空间的节点；3.节点不存在或结构误判可通过输出文档内容、逐层测试路径及使用*通配符验证层级来排查。
Java 中 XML 处理的高级技巧：探索潜藏的潜力
XML解析Java提供了两种解析XML文档的方法：DOM和SAX。DOM（文档对象模型）将整个XML文档加载到内存中，并允许程序员使用对象表示访问其内容。SAX（简单apiforXML）是一种事件驱动的解析器，在解析文档时触发事件，从而提高了效率。示例（DOM）：DocumentBuilderFactoryfactory=DocumentBuilderFactory.newInstance();DocumentBuilderbuilder=factory.newDocumentBuilder();Docu
Python中如何使用XPath、JSONPath和bs4来解析文档？
1.xpath1.1xpath使用google提前安装xpath插件，按ctrl+shift+x出现小黑框安装lxml库pipinstalllxml‐ihttps://pypi.douban.com/simple导入lxml.etreefromlxmlimportetreeetree.parse()解析本地文件html_tree=etree.parse('XX.html')etree.HTML()服务器响应文件html_tree=etree.HTML(response.read().dec
查看更多
