[爬虫]3.4.3 Scrapy的中间件和扩展

在Scrapy框架中，中间件和扩展提供了一种定制和扩展Scrapy行为的方法。

中间件：

中间件是一种定制请求/响应处理的方式。Scrapy中间件提供了一个方便的机制来处理或者操作请求/响应的过程。

扩展：

扩展是一种全局改变Scrapy行为的方式。Scrapy扩展通过实现Scrapy的信号和插槽机制，可以在Scrapy运行的特定阶段注入自定义的行为。

以下是一个简单的示例，展示如何创建一个Scrapy中间件：

# 在你的Scrapy项目中创建一个middlewares.py文件
 
class MyCustomMiddleware:
    def __init__(self, settings):
        # 初始化代码，可以使用settings参数来获取项目设置
        pass
 
    @classmethod
    def from_crawler(cls, crawler):
        # 这个方法是从Scrapy 1.3.0版本开始引入的
        # 用于创建中间件实例，同时可以访问到爬虫的配置信息
        return cls(crawler.settings)
 
    def process_request(self, request, spider):
        # 处理请求的方法，可以在这里修改请求或者进行一些操作
        pass
 
    def process_response(self, request, response, spider):
        # 处理响应的方法，可以在这里修改响应或者进行一些操作
        return response
 
    def process_exception(self, request, exception, spider):
        # 处理异常的方法，可以在这里进行异常处理或者记录日志
        pass

在settings.py中启用这个中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyCustomMiddleware': 543,
}

这个示例中，MyCustomMiddleware类定义了三个方法：process_request、process_response和process_exception。这些方法会在Scrapy请求/响应处理的不同阶段被调用。在settings.py中通过DOWNLOADER_MIDDLEWARES字典配置了这个中间件，并设置了一个优先级（这里的543是示例，实际值应该根据需要设置）。