爬虫之scrapy中间件

Scrapy中间件是一种提供了一个简单的方法用于集成业务逻辑的功能。在爬虫的爬取请求发送之前、之中、以及爬取结果处理之后，你都可以添加自定义的代码。

以下是一个简单的Scrapy中间件示例，它用于在爬虫发送请求之前记录请求的信息：

# 在你的Scrapy项目中创建一个middlewares.py文件
 
class LoggingMiddleware:
    @classmethod
    def from_crawler(cls, crawler):
        # 通过crawler实例来获取配置信息或者其他服务
        return cls()
 
    def process_request(self, request, spider):
        # 在发送请求之前被调用
        print(f"Sending request: {request.url}")
 
    def process_response(self, request, response, spider):
        # 在爬虫接收到响应时被调用
        print(f"Received response for: {request.url}")
        return response
 
    def process_exception(self, request, exception, spider):
        # 在爬虫处理请求出现异常时被调用
        print(f"Exception for: {request.url} - Exception: {exception}")
 

然后，你需要在你的爬虫设置文件中启用这个中间件。例如，如果你的中间件类名为LoggingMiddleware，你可以在middlewares.py文件所在的目录下的settings.py文件中添加如下配置：

# 在settings.py文件中添加
DOWNLOADER_MIDDLEWARES = {
    'your_project_name.middlewares.LoggingMiddleware': 543,
}

这里的543是中间件的优先级，数字越小，优先级越高。

这个简单的中间件示例展示了如何记录爬虫请求的信息。你可以在process_request和process_response方法中添加自定义的逻辑，比如请求的处理、响应的处理、异常的处理等。