认识爬虫：怎么使用代理 IP 规避反爬虫以及使用爬虫获取更多可用的免费代理 IP

使用代理IP可以规避网站的反爬虫机制，增加爬虫成功率。以下是一个使用代理IP的简单示例：

import requests
 
# 代理服务器(从可用代理提供商获取)
proxy = {
    'http': 'http://121.232.147.190:80',
    'https': 'https://121.232.147.190:80'
}
 
# 目标网址
url = 'http://httpbin.org/ip'
 
# 发送请求
response = requests.get(url, proxies=proxy)
 
print(response.text)

在实际应用中，代理IP可能会失效，因此需要定期检查和更新代理资源。可以通过各种方式获取免费代理，例如开放的代理API、公共代理网站、或者使用专门的代理提供商。

import requests
 
# 获取免费代理的API
proxy_api = 'http://api.proxyflow.io/v1/proxy?api_key=YOUR_API_KEY&format=text'
 
# 获取代理
def get_proxy():
    response = requests.get(proxy_api)
    if response.status_code == 200:
        return {'http': response.text, 'https': response.text}
    return None
 
# 使用代理
def use_proxy(proxy):
    url = 'http://httpbin.org/ip'
    response = requests.get(url, proxies=proxy)
    print(response.text)
 
# 主程序
if __name__ == '__main__':
    proxy = get_proxy()
    if proxy:
        use_proxy(proxy)

请注意，使用代理时要遵守使用条款，并确保不进行任何可能违反服务条款的活动。此外，过度使用代理可能会导致账号被封禁，因此应该合理使用代理资源。