Python之爬虫的头部伪装

在Python中，使用requests库进行网络爬虫时，可以通过设置headers参数来伪装为一个真实的浏览器。这样可以避免被服务器识别为爬虫而被封禁。

以下是一个示例代码，展示了如何使用requests库设置headers参数：

import requests
 
# 创建一个请求头部
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
}
 
# 使用请求头部进行网络爬取
url = 'http://example.com'
response = requests.get(url, headers=headers)
 
# 输出网页内容
print(response.text)

在这个例子中，我们创建了一个包含常见浏览器头部信息的字典，然后在requests.get()方法中通过headers参数使用它。这样，我们的爬虫就可以伪装成一个常见的浏览器去请求网页内容了。