【Scrapy】Scrapy 中间件等级设置规则

在Scrapy中，中间件的权重可以通过设置一个整数来控制其触发的顺序。权重（int）越小，中间件越早被触发。权重默认为0，如果不进行设置，中间件的顺序将按照它们在settings.py文件中的声明顺序进行触发。

以下是如何在Scrapy中设置中间件权重的示例：

首先，定义你的中间件：

# 在你的scrapy项目中的一个.py文件中
 
from scrapy import signals
 
class MyCustomMiddleware:
    @classmethod
    def from_crawler(cls, crawler):
        # 此方法会在创建中间件时被调用
        # 我们可以从爬虫(crawler)中获取我们需要的配置或者设置中间件的权重
        # 权重设置示例
        crawler.settings.set('MY_MIDDLEWARE_WEIGHT', 100)
        obj = cls()
        return obj
 
    def process_request(self, request, spider):
        # 这里实现你的请求处理逻辑
        pass
 
    def process_response(self, request, response, spider):
        # 这里实现你的响应处理逻辑
        return response
 
    def process_exception(self, request, exception, spider):
        # 这里实现异常处理逻辑
        pass

然后，在项目的settings.py文件中启用你的中间件，并设置其权重：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyCustomMiddleware': 100,
}

权重100表示这个中间件将会在所有默认中间件之后被触发。权重可以是任何整数，但是要确保每个中间件的权重都是独一无二的。权重高的中间件会先被触发，权重低的中间件会后被触发。