【python大神之路】scrapy的中间件使用流程

Scrapy的中间件提供了一种方便的方式来插入自定义代码来拦截Scrapy的request/response处理流程。以下是Scrapy中间件的使用流程：

1. 自定义中间件：创建一个Python类，继承自scrapy.contrib.spidermiddleware.SpiderMiddleware或scrapy.contrib.downloadermiddleware.DownloaderMiddleware。

2. 编写中间件方法：在自定义中间件类中，根据需要重写以下方法之一或全部：

   • process_spider_input(self, response, spider)：处理spider的输入。
   • process_spider_output(self, response, result, spider)：处理spider的输出。
   • process_exception(self, response, exception, spider)：处理异常。
   • process_request(self, request, spider)：处理下载请求。
   • process_response(self, request, response, spider)：处理下载响应。
3. 启用中间件：在Scrapy项目的settings.py文件中添加中间件。

例子：

# 自定义中间件示例
class MyCustomMiddleware(object):
    def process_request(self, request, spider):
        # 可以在这里修改请求，比如添加headers
        request.headers['User-Agent'] = 'MyBot/1.0'
 
    def process_response(self, request, response, spider):
        # 可以在这里修改响应，比如进行解析
        return response
 
# 在settings.py中启用中间件
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyCustomMiddleware': 543,
}

在这个例子中，MyCustomMiddleware类实现了process_request方法，这个方法会在每个请求被下载之前调用，并且可以修改请求。同时，实现了process_response方法，这个方法会在每个响应被下载之后调用，并且可以修改响应。在settings.py文件中，通过DOWNLOADER_MIDDLEWARES字典指定了要启用的中间件及其顺序。