Scrapy中间件

Scrapy中间件是一种特殊的框架，它允许你定义自定义逻辑，用于处理Scrapy引擎和爬虫之间的请求和响应。你可以使用它来修改请求，重定向请求，响应内容，错误处理等。

以下是一个简单的Scrapy中间件示例，它用于在发送请求之前记录请求的详细信息：

# middlewares.py
 
class LoggingMiddleware:
    @classmethod
    def from_crawler(cls, crawler):
        # 此方法用于从爬虫中获取配置信息
        return cls()
 
    def process_request(self, request, spider):
        # 此方法用于处理请求，在请求被发送之前
        print(f"Sending request to: {request.url}")
        return None  # 返回None或者一个Response对象，如果返回Response，则不会进一步处理请求
 
    def process_response(self, request, response, spider):
        # 此方法用于处理响应，在请求被执行后
        print(f"Received response for: {request.url}")
        return response  # 返回处理后的响应
 
    def process_exception(self, request, exception, spider):
        # 此方法用于处理异常，在请求处理过程中出现异常时调用
        print(f"Exception occurred for: {request.url} Exception: {exception}")
        return None  # 返回None或者一个Response对象

要使用这个中间件，你需要在你的Scrapy项目的settings.py文件中启用它。

# settings.py
 
DOWNLOADER_MIDDLEWARES = {
    'your_project.middlewares.LoggingMiddleware': 543,
}

这里的543是中间件的优先级，数字越小，优先级越高。