【Python】利用代理IP爬取当当网数据做数据分析

import requests
import pandas as pd
 
# 设置代理服务器
proxies = {
    'http': 'http://user:password@proxy_ip:port',
    'https': 'https://user:password@proxy_ip:port',
}
 
# 设置headers，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept-Encoding': 'gzip, deflate',
    'Accept': 'text/html, application/xhtml+xml, application/xml;q=0.9, image/webp, */*;q=0.8',
    'Upgrade-Insecure-Requests': '1',
    'Cache-Control': 'max-age=0',
}
 
# 目标网址
url = 'http://www.dangdang.com/'
 
# 使用代理和headers发送请求
response = requests.get(url, headers=headers, proxies=proxies)
 
# 检查请求是否成功
if response.status_code == 200:
    print('Success:', response.url)
else:
    print('Failed:', response.status_code)
 
# 将获取的页面内容写入文件
with open('dangdang.html', 'w', encoding='utf-8') as f:
    f.write(response.text)
 
# 解析数据，进行数据分析...

这段代码展示了如何使用Python的requests库结合代理服务器来爬取网站数据。首先，我们定义了代理服务器的地址和端口，以及一些模拟浏览器的headers。然后，我们使用requests.get方法通过设置的代理和headers访问目标网址，并检查请求是否成功。如果成功，我们将页面内容写入文件，以便进一步处理和分析。这个例子简单地展示了如何使用代理进行网络爬虫，并没有包含解析数据或者数据分析的部分。