【Scrapy】深入了解 Scrapy 中间件中的 process_spider_output 方法

process_spider_output 方法是 Scrapy 中间件中的一个重要方法，它在 Spider 处理 Response 并产生新的 Items 或者新的 Requests 的时候被调用。这个方法接收到的参数是 response 和 result，其中 result 是一个包含 items 和 requests 的元组。

这个方法必须返回一个包含以下三种类型的值的元组：

1. 一个包含 Item 的列表
2. 一个包含 Request 的列表
3. 一个包含 Response 的列表（这种情况很少见，因为 Response 通常是传入方法的参数）

如果你想要处理或者修改 Items 和 Requests，你可以在这个方法中进行。

以下是一个简单的示例，演示如何在 process_spider_output 方法中修改 Items 和 Requests：

class MyCustomSpiderMiddleware(object):
    def process_spider_output(self, response, result):
        # 提取返回的 Items 和 Requests
        for item in result.get('items', []):
            # 在这里你可以对 item 进行处理
            yield item
        
        for request in result.get('requests', []):
            # 在这里你可以对 request 进行处理
            yield request

在实际应用中，你可以根据需要添加更多的逻辑，例如过滤掉一些不需要的 Items 或 Requests，添加新的 Items，改变爬取的流程等。