Beautiful Soup文本提取进阶教程

本文旨在帮助开发者解决在使用Beautiful Soup库提取网页文本时遇到的常见问题，特别是当目标文本位于<script>标签内或动态加载时。我们将通过实际案例，深入探讨如何利用正则表达式和JSON解析，结合Beautiful Soup，高效、准确地提取所需信息。

在使用Beautiful Soup进行网页抓取时，有时会遇到无法直接提取所需文本的情况，这通常是因为：

1. 文本位于<script>标签内： 一些网站会将数据嵌入到JavaScript代码中，例如存储在全局变量或JSON对象中。
2. 文本是动态加载的： 部分网站使用JavaScript在客户端动态生成内容，这些内容可能在初始HTML中不存在。

针对以上情况，我们需要采取一些额外的步骤来提取目标文本。

1. 分析网页结构

首先，我们需要仔细分析网页的HTML源代码，确定目标文本的存储方式。常见的存储方式包括：

• 直接嵌入在HTML标签中 (例如 <p>, <div>)
• 存储在<script>标签内的JavaScript变量中
• 通过AJAX请求动态加载

2. 提取<script>标签中的数据

如果目标文本存储在<script>标签内，我们可以使用正则表达式来提取相关数据。以下是一个示例，演示如何提取存储在window.__INITIAL_STATE__变量中的JSON数据：

import re
import json

import requests
from bs4 import BeautifulSoup

URL = "https://habr.com/ru/hubs/gamedev/articles/"  # 目标网站URL

page = requests.get(URL).text
# 使用正则表达式匹配 window.__INITIAL_STATE__ 变量
data = re.search(r"window\.__INITIAL_STATE__=(.*}});", page).group(1)

# 将提取的字符串转换为JSON对象
data = json.loads(data)

# 遍历文章列表，提取标题和描述
for a in sorted(
    data["articlesList"]["articlesList"].values(),
    key=lambda k: k["timePublished"],
    reverse=True,
):
    print(a["titleHtml"])
    print(BeautifulSoup(a["leadData"]["textHtml"], "html.parser").text)

    # 只提取第一篇文章
    break

代码解释：

• re.search(r"window\.__INITIAL_STATE__=(.*}});", page).group(1)：使用正则表达式查找以window.__INITIAL_STATE__=开头，以}}结尾的字符串，并提取括号内的内容。
• json.loads(data)：将提取的JSON字符串转换为Python字典。
• BeautifulSoup(a["leadData"]["textHtml"], "html.parser").text：使用Beautiful Soup解析HTML字符串，并提取文本内容。

3. 处理动态加载的内容

对于通过AJAX请求动态加载的内容，我们需要模拟AJAX请求，获取返回的数据。可以使用requests库发送GET或POST请求，然后解析返回的JSON或HTML数据。

4. 注意事项

• 网页结构变化： 网站的HTML结构可能会发生变化，导致代码失效。因此，需要定期检查和更新代码。
• 反爬虫机制： 一些网站会采取反爬虫措施，例如限制访问频率或使用验证码。我们需要遵守网站的robots.txt协议，并采取适当的措施来避免被屏蔽。例如，可以设置User-Agent，添加请求头，或者使用代理IP。
• 数据清洗： 提取的数据可能包含HTML标签、特殊字符或其他不需要的信息。我们需要对数据进行清洗，以获得干净、可用的数据。

总结

使用Beautiful Soup提取网页文本，需要根据网页的实际结构和数据存储方式，选择合适的方法。对于存储在<script>标签内或动态加载的数据，可以使用正则表达式、JSON解析和AJAX请求等技术来提取目标文本。同时，需要注意网页结构变化、反爬虫机制和数据清洗等问题。通过掌握这些技巧，可以更加高效、准确地从网页中提取所需信息。