scrapy框架-Middleware（爬虫中间件）

爬虫中间件是Scrapy框架的一个重要组成部分，它提供了一个机制来扩展Scrapy的功能，修改Scrapy的请求和响应。

爬虫中间件主要有两种功能：

1. 修改请求：在请求发送到爬虫之前，可以通过爬虫中间件修改请求，例如添加或者修改HTTP头部信息等。
2. 修改响应：爬虫发送请求并接收响应后，爬虫中间件可以修改这个响应，例如过滤响应中的数据，修改item等。

以下是一个简单的爬虫中间件示例：

class MySpiderMiddleware:
    # 爬虫中间件的处理请求函数
    def process_request(self, request, spider):
        # 可以在这里修改请求，例如添加或者修改HTTP头部信息等
        pass
 
    # 爬虫中间件的处理响应函数
    def process_response(self, request, response, spider):
        # 可以在这里修改响应，例如过滤响应中的数据，修改item等
        return response
 
    # 爬虫中间件的异常处理函数
    def process_exception(self, request, exception, spider):
        # 可以在这里处理异常，例如记录日志，重试请求等
        pass

在Scrapy项目中使用爬虫中间件，需要在项目的middlewares.py文件中定义中间件，然后在settings.py配置文件中启用。

例如，在settings.py中添加如下配置，就可以启用上面定义的爬虫中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyCustomDownloaderMiddleware': 543,
}

其中，543是中间件的优先级，数字越小，优先级越高。