2023最新!!!Python爬虫获取 UA xpath验证工具 让你爬虫时如鱼得水的工具和模块

from fake_useragent import UserAgent
from lxml import etree
import requests
 
# 获取随机的User-Agent
def get_random_ua():
    return UserAgent().random
 
# 使用requests和lxml下载页面并解析
def download_parse_page(url):
    headers = {'User-Agent': get_random_ua()}
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return etree.HTML(response.text)
    else:
        return None
 
# 示例使用
url = 'https://example.com'
parsed_page = download_parse_page(url)
if parsed_page:
    # 使用XPath选择器选择页面元素
    xpath_selector = '//title'
    title = parsed_page.xpath(xpath_selector)[0].text
    print(title)
else:
    print("页面下载失败")

这段代码使用了fake_useragent库来生成随机的User-Agent，使用requests库来发送带有User-Agent的HTTP请求，使用lxml的etree来解析页面并使用XPath选择器提取页面信息。这是一个简单的示例，展示了如何在Python中使用这些工具来创建基本的网络爬虫。