爬虫实战|python使用代理IP的4种方法

在Python中使用代理IP进行网络爬虫可以通过几种方式实现，以下是四种常见的方法：

1. 直接在请求方法中设置代理
2. 使用requests库的Session对象
3. 使用urllib库的ProxyHandler
4. 使用第三方库例如httpx

以下是每种方法的示例代码：

1. 直接在请求方法中设置代理

import requests
 
proxy = {'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:3128'}
requests.get('http://example.com', proxies=proxy)

2. 使用requests库的Session对象

import requests
 
session = requests.Session()
session.proxies = {'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:3128'}
response = session.get('http://example.com')

3. 使用urllib库的ProxyHandler

import urllib.request
 
proxy = urllib.request.ProxyHandler({'http': 'http://10.10.1.10:3128'})
opener = urllib.request.build_opener(proxy)
urllib.request.install_opener(opener)
response = urllib.request.urlopen('http://example.com')

4. 使用httpx库

import httpx
 
proxies = {
    'http://example.com': 'http://10.10.1.10:3128',
    'https://example.com': 'http://10.10.1.10:3128'
}
 
with httpx.Client(proxies=proxies) as client:
    response = client.get('http://example.com')

以上代码展示了如何在Python中使用代理IP进行网络请求。选择哪种方法取决于你的具体需求和项目环境。通常情况下，如果你需要管理多个代理，或者想要在多个请求间保持会话（如cookie保持），使用Session对象是一个更好的选择。如果你的代码中只需要一个代理，并且不需要复杂的代理管理，直接在请求方法中设置代理可能是最简单的方法。