【爬虫】User-Agent反爬虫

User-Agent反爬虫是一种常见的反爬虫策略，网站通过检测请求的User-Agent来判断请求是否来自爬虫。因此，为了绕过这种反爬虫策略，我们需要在爬虫中使用不同的User-Agent进行请求。

解决方案：

1. 使用随机的User-Agent池：爬虫程序启动时，从一个包含不同User-Agent的列表中随机选择一个使用。
2. 使用代理服务器：每次请求时通过不同的代理服务器进行。

以下是使用Python的requests库设置随机User-Agent的示例代码：

import requests
 
# 这里是一些常见的User-Agent字符串的列表
user_agents = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    # ... 添加更多User-Agent字符串
]
 
# 随机选择一个User-Agent
def get_random_user_agent():
    return user_agents[random.randint(0, len(user_agents)-1)]
 
# 使用随机的User-Agent进行请求
def make_request(url):
    headers = {'User-Agent': get_random_user_agent()}
    response = requests.get(url, headers=headers)
    return response
 
# 示例URL
url = 'http://example.com'
response = make_request(url)
print(response.text)

在实际应用中，可以扩展user_agents列表，包含更多不同的User-Agent字符串，或者使用专门的网站收集这些字符串。此外，频繁更换代理和User-Agent可以帮助爬虫避免被网站封禁。