Scrapy抓取tbody为空的解决方法

本文旨在解决使用Scrapy爬虫抓取网页数据时，XPath表达式定位tbody元素返回空数组的问题。通过分析原因，并提供绕过tbody元素直接定位tr元素的解决方案，帮助开发者更有效地抓取目标数据。

在使用Scrapy进行网页数据抓取时，你可能会遇到XPath表达式能够正确匹配thead等元素，但匹配tbody元素时却返回空数组的情况。这通常是因为tbody元素并非始终存在于网页的原始HTML源代码中。许多浏览器为了保证HTML结构的完整性，会自动在解析HTML时注入tbody元素。因此，当你直接查看网页源代码时，可能看不到tbody标签，但通过浏览器的开发者工具（例如，Chrome的Inspect Element）却能看到。

原因分析

Scrapy爬虫抓取的是服务器返回的原始HTML源代码，而不是浏览器渲染后的DOM结构。如果tbody元素是浏览器动态添加的，那么Scrapy在抓取时自然无法找到该元素。

解决方案：绕过tbody元素

解决此问题的关键在于绕过tbody元素，直接定位其子元素tr（表格行）。

以下提供两种方法：

1. 直接定位所有tr元素

如果你的目标是抓取表格中的所有行，包括表头行，可以使用以下XPath表达式：

rows = response.xpath("//div[@id='TableWithRules']//tr")
print(len(rows))

此表达式会直接定位div元素下所有tr元素，无需考虑tbody是否存在。

2. 排除表头行，定位数据行

如果需要排除表头行，只抓取数据行，可以使用以下XPath表达式：

rows = response.xpath("//div[@id='TableWithRules']//tr[td]")
print(len(rows))

此表达式会在tr元素的基础上添加一个条件[td]，表示只选择包含td（表格数据单元格）子元素的tr元素，从而排除表头行。

示例代码

以下是一个完整的Scrapy Shell示例，演示如何使用这两种方法：

scrapy shell https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=hp

在Scrapy Shell中，执行以下命令：

In [1]: rows = response.xpath("//div[@id='TableWithRules']//tr")

In [2]: len(rows)
Out[2]: 3366

In [3]: rows = response.xpath("//div[@id='TableWithRules']//tr[td]")

In [4]: len(rows)
Out[4]: 3365

注意事项

• 在实际应用中，需要根据目标网页的HTML结构调整XPath表达式。
• 使用开发者工具检查网页结构，确认tbody元素是否存在。
• 确保XPath表达式的准确性，避免抓取到不相关的数据。

总结

当使用Scrapy抓取网页数据时，遇到tbody元素无法定位的问题，通常是因为该元素是浏览器动态添加的。通过绕过tbody元素，直接定位tr元素，可以有效地解决此问题。在编写XPath表达式时，需要仔细分析网页结构，并根据实际情况进行调整。