网页数据提取——XPath（py爬虫）

import requests
from lxml import etree
 
# 目标URL
url = 'https://www.example.com'
 
# 发送HTTP请求
response = requests.get(url)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用etree.HTML解析响应内容
    html = etree.HTML(response.text)
    
    # 定义XPath表达式来选取所需的数据
    # 例如，选取所有的h2标签中的文本内容
    xpath_h2 = '//h2/text()'
    
    # 使用etree.xpath()方法来提取数据
    h2_texts = html.xpath(xpath_h2)
    
    # 打印结果
    for h2 in h2_texts:
        print(h2)
else:
    print("请求失败，状态码:", response.status_code)

这段代码演示了如何使用Python的requests库和lxml库从网页中提取数据。首先，我们发送一个HTTP GET请求到指定的URL，然后检查响应状态。如果请求成功，我们使用etree.HTML解析响应内容，并定义XPath表达式来选取页面中的特定数据。最后，我们遍历并打印出选取的数据。