基于Redis实现爬虫分布式管理

import redis
 
class RedisCrawlStats:
    def __init__(self, server_url='localhost', port=6379, password=None):
        self.redis_conn = redis.StrictRedis(host=server_url, port=port, password=password)
 
    def increase_started(self):
        self.redis_conn.incr('crawler:stats:started')
 
    def increase_succeeded(self):
        self.redis_conn.incr('crawler:stats:succeeded')
 
    def increase_failed(self):
        self.redis_conn.incr('crawler:stats:failed')
 
    def items_scraped(self, item_type, count):
        self.redis_conn.incrby('crawler:items:scraped', count)
 
    def get_stats(self):
        return {
            'started': self.redis_conn.get('crawler:stats:started') or 0,
            'succeeded': self.redis_conn.get('crawler:stats:succeeded') or 0,
            'failed': self.redis_conn.get('crawler:stats:failed') or 0,
            'items_scraped': self.redis_conn.get('crawler:items:scraped') or 0
        }
 
# 使用示例
stats = RedisCrawlStats()
stats.increase_started()
stats.increase_succeeded()
stats.increase_failed()
stats.items_scraped('items_type', 10)
print(stats.get_stats())

这个代码示例展示了如何使用Redis来跟踪爬虫任务的统计信息。它定义了一个RedisCrawlStats类，用于增加启动的爬虫任务数、成功的任务数、失败的任务数以及爬取的项目数。它还提供了一个get_stats方法来获取所有的统计信息。这个类可以被爬虫管理系统或实时监控系统调用，以了解爬虫的执行状态。