第十六章 爬虫scrapy登录与中间件

在Scrapy中实现登录和中间件的应用，通常需要以下步骤：

1. 定义一个中间件来处理登录过程中的cookies和session信息。
2. 使用Scrapy的FormRequest来发送登录信息。
3. 在Scrapy的设置文件中启用定义好的中间件。

以下是一个简化的例子：

# middlewares.py
 
from scrapy import signals
from scrapy.http import HtmlResponse
from scrapy.exceptions import NotConfigured
 
class LoginMiddleware:
    def __init__(self, username, password, domain=''):
        self.username = username
        self.password = password
        self.domain = domain
 
    @classmethod
    def from_crawler(cls, crawler):
        # 从Scrapy配置中读取中间件参数
        username = crawler.settings.get('LOGIN_USERNAME')
        password = crawler.settings.get('LOGIN_PASSWORD')
        domain = crawler.settings.get('LOGIN_DOMAIN', '')
 
        if not username or not password:
            raise NotConfigured("Missing login information")
 
        return cls(username, password, domain)
 
    def process_request(self, request, spider):
        if request.url.startswith('http://www.example.com'):  # 根据需要修改URL
            return HtmlResponse(url=request.url, body=b'', request=request,
                                headers={'Set-Cookie': 'auth_token=12345; Path=/; Domain=.example.com'},
                                status=200)
 
# 在settings.py中启用中间件
# 添加下面的行
# SPIDER_MIDDLEWARES = {
#    'myproject.middlewares.LoginMiddleware': 543,
# }
 
# 在这里设置登录信息
# LOGIN_USERNAME = 'your_username'
# LOGIN_PASSWORD = 'your_password'
# LOGIN_DOMAIN = 'example.com'

在上面的代码中，LoginMiddleware类通过Scrapy的from_crawler方法读取配置信息，并在请求发送之前通过修改请求的cookie来模拟登录。这个例子是简化的，并假设登录后会返回一个包含auth\_token的cookie。在实际应用中，登录后服务器可能会返回更多信息，如session cookie或者token，你需要根据实际情况进行调整。

请注意，这个例子仅用于演示目的，并且假设了cookie的处理方式。实际的登录流程可能会更加复杂，包括处理CSRF tokens、处理登录表单的加密、处理登录后的重定向等。