爬虫IP代理池的搭建与使用指南

import requests
 
# 获取代理服务器的IP和端口
def get_proxy():
    # 假设代理服务器API地址
    proxy_api = 'http://proxy_api_url/get'
    response = requests.get(proxy_api)
    if response.status_code == 200:
        # 假设返回的数据格式为{'http': 'IP:端口', 'https': 'IP:端口'}
        return response.json()
    else:
        return None
 
# 使用代理进行网络请求
def use_proxy(url, method='get', proxy=None):
    if method == 'get':
        response = requests.get(url, proxies=proxy)
    elif method == 'post':
        response = requests.post(url, proxies=proxy)
    else:
        raise ValueError('Unsupported method')
    return response
 
# 示例使用代理
if __name__ == '__main__':
    proxy = get_proxy()
    if proxy:
        # 假设要访问的目标URL
        target_url = 'http://target_website.com'
        response = use_proxy(target_url, proxy=proxy)
        print(response.text)
    else:
        print('No available proxies')

这个简单的示例展示了如何从一个代理服务API中获取代理，并在网络请求中使用这些代理。在实际应用中，你需要替换掉proxy_api_url和返回数据的格式，并处理可能出现的异常情况。