【爬虫实战】利用代理爬取电商数据

以下是一个简化的示例代码，展示了如何使用代理服务器爬取电商网站的商品信息。

import requests
from lxml import etree
 
# 设置代理服务器
proxies = {
    'http': 'http://user:password@proxy_address:port',
    'https': 'https://user:password@proxy_address:port'
}
 
# 目标网站URL
url = 'https://www.example.com/shop/products'
 
# 发送HTTP请求
response = requests.get(url, proxies=proxies)
 
# 检查请求是否成功
if response.status_code == 200:
    # 解析网页
    html = etree.HTML(response.text)
    
    # 提取商品信息
    products = html.xpath('//div[@class="product"]')
    for product in products:
        name = product.xpath('.//h3/text()')[0].strip()
        price = product.xpath('.//span[@class="price"]/text()')[0].strip()
        print(f'Name: {name}, Price: {price}')
else:
    print("Failed to retrieve the webpage")

这段代码首先设置了代理服务器的参数，然后向电商网站发送了一个GET请求，并检查了响应状态。如果响应成功，它会使用lxml库解析HTML内容，并提取商品信息（例如名称和价格），然后打印出来。这个例子展示了如何使用代理服务器进行网络爬取，并简单提取了网页中的数据。