【爬虫】在Scrapy中配置随机User-Agent中间件

在Scrapy中配置一个随机切换User-Agent的中间件，你需要定义一个下载中间件并在其中实现随机选择User-Agent的逻辑。以下是一个简单的示例：

首先，在你的Scrapy项目中创建一个下载中间件文件，例如middlewares.py：

import random
 
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
 
class RandomUserAgentMiddleware(UserAgentMiddleware):
    def __init__(self, user_agent='Scrapy'):
        self.user_agent = user_agent
 
    def process_request(self, request, spider):
        user_agent_list = [
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36',
            # 添加更多的User-Agent字符串
        ]
        random_user_agent = random.choice(user_agent_list)
        request.headers.setdefault('User-Agent', random_user_agent)

然后，确保在你的Scrapy设置文件中启用这个中间件。例如，在settings.py中添加：

DOWNLOADER_MIDDLEWARES = {
   'your_project_name.middlewares.RandomUserAgentMiddleware': 543,
}

替换your_project_name为你的实际Scrapy项目名称。中间件的键值对中的数字543代表了调用中间件的优先级，可以根据需要进行调整。

这样配置后，每次Scrapy发起请求时，都会随机选择一个User-Agent头部发送请求。