Python爬虫IP池
import requests
class IpProxy(object):
def __init__(self, url, params=None, headers=None):
self.url = url
self.params = params
self.headers = headers
def get_proxy(self):
try:
response = requests.get(self.url, params=self.params, headers=self.headers)
if response.status_code == 200:
return response.json().get('data')
else:
print('Error:', response.status_code)
except requests.exceptions.RequestException as e:
print('Error:', e)
# 使用示例
url = 'http://api.ipify.org?format=json' # 一个可以获取本机外网IP的API
proxy = IpProxy(url)
proxy_list = proxy.get_proxy()
if proxy_list:
for p in proxy_list:
print(p)
这段代码定义了一个名为IpProxy
的类,它接受一个API URL,并提供了一个get_proxy
方法来获取代理IP地址。使用时,只需要传入正确的API URL,并在需要代理的时候使用这些代理即可。这个例子演示了如何使用Python的requests库来简单地获取和使用代理IP,并处理了可能出现的异常。
评论已关闭