Selenium 如何使用代理 IP 进行 Web 爬虫(包括无认证实现、有账号密码认证实现)
在使用 Selenium 进行 Web 爬虫时,可以通过代理服务器来隐藏你的真实 IP 地址,以下是一个使用代理 IP 的 Selenium 示例:
from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
# 代理服务器设置
proxy = Proxy({
'proxyType': ProxyType.MANUAL,
'httpProxy': 'http://代理ip:代理端口',
'ftpProxy': 'ftp://代理ip:代理端口',
'noProxy': 'localhost,127.0.0.1',
'sslProxy': 'https://代理ip:代理端口'
})
# 将代理服务器设置添加到webdriver
proxy.add_to_webdriver(driver)
# 启动浏览器
driver = webdriver.Chrome()
# 使用代理浏览网页
driver.get('http://httpbin.org/ip')
# 关闭浏览器
driver.quit()
对于有账号密码的代理认证,可以通过设置环境变量来实现:
import os
os.environ['HTTP_PROXY'] = 'http://用户名:密码@代理ip:代理端口'
os.environ['HTTPS_PROXY'] = 'https://用户名:密码@代理ip:代理端口'
# 之后的代码与无认证代理相同
请确保替换代理服务器的 IP、端口、用户名和密码为你实际使用的信息。
评论已关闭