scrapy 中间件

Scrapy中间件是一种特殊的框架，它允许你定制Scrapy的请求和响应处理流程。你可以使用中间件来修改请求，例如添加默认头信息；或者修改响应，例如进行gzip解压缩。

以下是创建Scrapy中间件的基本步骤：

1. 定义一个类，继承自scrapy.contrib.downloadermiddleware.DownloaderMiddleware或scrapy.contrib.spidermiddleware.SpiderMiddleware。

2. 在该类中实现以下方法之一或全部：

   • process_request(self, request, spider): 处理请求，可以修改请求或直接返回响应。
   • process_response(self, request, response, spider): 处理响应，可以修改响应或返回新的响应。
   • process_exception(self, request, exception, spider): 处理异常，可以返回一个响应对象或让异常继续抛出。
3. 在Scrapy项目的settings.py文件中启用你的中间件。

例子代码：

import scrapy
 
class MyCustomMiddleware(object):
    def __init__(self, settings):
        # 可以使用settings来初始化中间件
        pass
 
    def process_request(self, request, spider):
        # 可以在这里修改请求，例如添加头信息
        request.headers['User-Agent'] = 'MyBot/1.0'
 
    def process_response(self, request, response, spider):
        # 可以在这里修改响应，例如解码gzip压缩的内容
        return response
 
    def process_exception(self, request, exception, spider):
        # 处理异常，可以选择返回一个响应对象或让异常继续抛出
        pass

在settings.py中启用中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyCustomMiddleware': 543,
}

这里的数字543是中间件的优先级，数字越小，优先级越高。