探索Scrapy中间件：自定义Selenium中间件实例解析

from scrapy import signals
from scrapy.http import HtmlResponse
from selenium import webdriver
from time import sleep
 
class CustomSeleniumMiddleware:
    def __init__(self, timeout=10, browser_type='chrome'):
        self.driver = webdriver.Chrome()  # 假设使用Chrome浏览器
        self.timeout = timeout
        self.browser_type = browser_type
 
    @classmethod
    def from_crawler(cls, crawler):
        # 从爬虫设置中读取参数
        timeout = crawler.settings.getint('SELENIUM_TIMEOUT')
        browser_type = crawler.settings.get('SELENIUM_BROWSER')
        # 实例化中间件
        middleware = cls(timeout=timeout, browser_type=browser_type)
        # 连接信号处理器
        crawler.signals.connect(middleware.spider_opened, signal=signals.spider_opened)
        return middleware
 
    def process_request(self, request, spider):
        # 使用Selenium处理请求
        self.driver.get(request.url)
        sleep(self.timeout)  # 假设这是等待页面加载的代码
        # 返回Selenium当前页面的响应
        return HtmlResponse(url=self.driver.current_url, body=self.driver.page_source, request=request, encoding='utf-8')
 
    def spider_opened(self, spider):
        # 当爬虫开启时，可以进行一些初始化操作
        pass

这个代码实例展示了如何从Scrapy的爬虫设置中读取参数，并在中间件初始化时连接相应的信号处理器。它还演示了如何在process_request方法中使用Selenium处理请求并返回响应。这个例子是一个简化的示范，用于教学目的。