User-Agent防爬虫与应对策略
import random
from fake_useragent import UserAgent
# 初始化UserAgent对象
ua = UserAgent()
# 定义一个获取随机User-Agent的函数
def get_random_ua():
return ua.random
# 定义一个获取指定类型的User-Agent的函数
def get_specific_ua(type):
return ua.chrome if type == 'chrome' else ua.firefox if type == 'firefox' else ua.random
# 使用示例
print(get_random_ua()) # 获取随机的User-Agent
print(get_specific_ua('chrome')) # 获取Chrome浏览器的User-Agent
这段代码使用了fake_useragent
库来生成随机的User-Agent,并定义了两个函数get_random_ua
和get_specific_ua
来演示如何获取不同类型的User-Agent。get_random_ua
函数返回一个随机的User-Agent,而get_specific_ua
函数接受一个参数来指定类型,并返回对应类型的User-Agent或者一个随机的User-Agent(如果指定的类型不存在)。最后,代码展示了如何使用这两个函数。
评论已关闭