Scrapy多线程爬取链接实战教程

本文将介绍如何使用 Python 的 Scrapy 框架，高效地从单个 URL 中提取所有链接，包括嵌套的链接。Scrapy 提供了强大的多线程爬取能力，简化了网页爬取任务，避免了手动管理线程的复杂性。我们将通过一个简单的示例，展示如何配置 Scrapy 并提取目标网页上的所有链接，并将其保存到 CSV 文件中。

Scrapy 简介

Scrapy 是一个强大的 Python 框架，用于大规模网页抓取。它内置了多线程支持，并且提供了许多方便的功能，例如自动处理请求和响应、数据提取和数据存储。与手动编写多线程代码相比，Scrapy 可以显著简化爬虫的开发过程。

安装 Scrapy

首先，需要安装 Scrapy。可以使用 pip 命令进行安装：

pip install scrapy

创建 Scrapy 爬虫

Scrapy 爬虫的核心是定义如何从网页中提取数据，以及如何跟踪链接并继续爬取。以下是一个简单的 Scrapy 爬虫示例，用于从 https://www.tradeindia.com/ 提取所有链接：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['www.tradeindia.com']
    start_urls = ['https://www.tradeindia.com/']

    def parse(self, response):
        print('\n>>> url:', response.url, '\n')

        links = response.css('a::attr(href)').extract()

        # 创建 item，用于保存到 CSV 文件
        for url in links:
            yield {'url': url}

        # 创建请求，用于跟踪链接并继续爬取
        for url in links:
            yield response.follow(url)

代码解释：

• name: 爬虫的名称，必须唯一。
• allowed_domains: 允许爬取的域名，防止爬虫爬到其他网站。
• start_urls: 爬虫启动时要爬取的 URL 列表。
• parse(self, response): Scrapy 用来处理下载的 response 的回调函数。response 对象包含了页面的内容。
  • response.css('a::attr(href)').extract(): 使用 CSS 选择器提取所有 标签的 href 属性。
  • yield {'url': url}: 将提取的 URL 作为 item 产出。Scrapy 会自动将这些 item 保存到指定的文件中。
  • yield response.follow(url): 创建一个新的请求，用于爬取提取的 URL。response.follow 会自动处理相对 URL。

运行 Scrapy 爬虫

为了运行爬虫，需要创建一个 CrawlerProcess 实例，并配置一些参数。以下是如何在不创建 Scrapy 项目的情况下运行爬虫的示例代码：

from scrapy.crawler import CrawlerProcess

c = CrawlerProcess({
    'USER_AGENT': 'Mozilla/5.0',
    'CONCURRENT_REQUESTS': 10,  # 默认值: 16
    #'RANDOMIZE_DOWNLOAD_DELAY': True,  # 默认值: True
    'DOWNLOAD_DELAY': 2,  # 模拟真实用户，设置请求之间的延迟 (0.5*delay 到 1.5*delay)
    #'LOG_LEVEL': 'INFO',       # 减少屏幕上的信息输出
    'FEEDS': {'output.csv': {'format': 'csv'}}, # 将结果保存到 CSV 文件
})

c.crawl(MySpider)
c.start()

代码解释：

• USER_AGENT: 设置 User-Agent，模拟浏览器访问。
• CONCURRENT_REQUESTS: 设置并发请求的数量。
• DOWNLOAD_DELAY: 设置请求之间的延迟，防止被网站封禁。
• FEEDS: 配置数据导出，这里配置将数据导出到 output.csv 文件。

将以上代码保存为一个 Python 文件（例如 spider.py），然后在命令行中运行：

python spider.py

Scrapy 将会开始爬取 https://www.tradeindia.com/，提取所有链接，并将结果保存到 output.csv 文件中。

Scrapy 的其他特性

Scrapy 还提供了许多其他特性，例如：

• LinkExtractor: 用于更灵活地提取链接。
• CrawlSpider: 一个用于创建爬虫的基类，它提供了一些默认的爬取规则。
• Item Pipeline: 用于处理提取的数据，例如数据清洗、验证和存储。
• Middleware: 用于处理请求和响应，例如添加请求头、处理重定向和处理错误。

注意事项

• 遵守 robots.txt 协议: 在爬取网站之前，请务必查看该网站的 robots.txt 文件，了解哪些页面可以爬取，哪些页面不可以爬取。
• 设置合理的下载延迟: 为了避免给网站带来过大的压力，请设置合理的下载延迟。
• 处理异常: 在爬取过程中，可能会遇到各种异常，例如网络错误、页面不存在等。请务必处理这些异常，防止爬虫崩溃。
• 避免被封禁: 为了避免被网站封禁，请模拟真实用户的行为，例如设置 User-Agent、使用代理 IP 等。

总结

Scrapy 是一个功能强大的网页爬取框架，它提供了多线程支持和许多方便的功能，可以显著简化爬虫的开发过程。通过本文的介绍，你应该能够使用 Scrapy 提取网页上的所有链接，并将其保存到 CSV 文件中。希望本教程能帮助你更好地使用 Scrapy 进行网页爬取。