Scrapy与分布式开发：scrapy实现自定义代理中间件

import random
 
from scrapy.downloadermiddlewares.proxy import ProxyMiddleware
from scrapy.http import HtmlResponse
 
class CustomProxyMiddleware(ProxyMiddleware):
    def __init__(self, proxy_url=None, proxy_user=None, proxy_pass=None, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.proxy_url = proxy_url
        self.proxy_user = proxy_user
        self.proxy_pass = proxy_pass
 
    def process_request(self, request, spider):
        # 随机选择代理服务器
        proxy = random.choice(spider.proxies)
        request.meta['proxy'] = proxy
 
        # 如果代理需要认证，添加代理认证信息
        if self.proxy_user and self.proxy_pass:
            encoded_user_pass = f"{self.proxy_user}:{self.proxy_pass}".encode('utf-8')
            auth_header = b'Basic ' + b64encode(encoded_user_pass)
            request.headers['Proxy-Authorization'] = auth_header.decode('utf-8')
 

这段代码定义了一个CustomProxyMiddleware类，它继承自Scrapy的ProxyMiddleware。在process_request方法中，它随机选择了一个代理服务器，并将其设置为请求的代理。如果代理服务器需要认证，它还会添加认证头部信息。这是一个分布式爬虫开发中常用的技术，可以帮助开发者绕过对目标网站的爬取限制。