基于scrapy框架的单机爬虫与分布式爬虫

Scrapy是一个开源和跨平台的Python爬虫框架，用于抓取网站和提取结构化数据。单机爬虫和分布式爬虫的主要区别在于爬虫的结构和资源利用方式。

单机爬虫:

• 使用单个机器
• 可能不需要额外的硬件
• 可能需要更多的计算资源

分布式爬虫:

• 使用多个机器同时工作
• 通常需要更多的硬件资源
• 需要一个调度器来协调多个爬虫机器

Scrapy本身并不直接支持分布式，但可以通过一些方法来实现，例如使用Scrapy-Redis。Scrapy-Redis是Scrapy的一个分布式组件，它使用Redis作为调度器和 item 和 request 的持久化存储。

以下是一个简单的Scrapy爬虫的例子：

import scrapy
 
class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']
 
    def parse(self, response):
        # 解析响应数据
        for item in response.css('div.item'):
            yield {
                'name': item.css('a ::text').extract_first(),
                'link': item.css('a ::attr(href)').extract_first(),
            }
 
        # 提取下一页链接并进行爬取
        next_page_url = response.css('a.next ::attr(href)').extract_first()
        if next_page_url is not None:
            yield response.follow(next_page_url, self.parse)

要将其转换为分布式爬虫，可以使用Scrapy-Redis，首先安装Scrapy-Redis：

pip install scrapy-redis

然后，在settings.py中设置Scrapy-Redis相关的参数：

# 使用Redis调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 使用Redis去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 持久化存储请求
SCHEDULER_PERSIST = True
# 允许在爬虫运行时更新请求
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
# 默认的请求序列化方式
SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"
# 不清除Redis队列，避免爬虫结束时清空队列
SCHEDULER_FLUSH_ON_START = False
# 爬虫结束时不清除Redis队列
SCHEDULER_IDLE_BEFORE_CLOSE = 10
# 项目存储到Redis
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300
}
# 指定Redis的地址
REDIS_HOST = 'localhost'
REDIS_PORT = 6379

在分布式环境中，你可以启动多个爬虫机器实例，每个实例使用相同的Scrapy项目，只需要运行时指定不同的爬虫名字即可。

scrapy runspider myspider.py -o items.json

这样，多个爬虫实例会共享Redis队列中的请求，并通过Redis共享请求和item。