Python反爬突破Cloudflare5秒盾的处理

import time
import requests
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
 
# 初始化webdriver
driver_path = '/path/to/chromedriver'  # 更改为你的ChromeDriver路径
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 如果你想在后台运行，可以添加这个参数
driver = webdriver.Chrome(executable_path=driver_path, options=options)
 
# 目标网址
url = 'http://example.com'
 
# 打开网页
driver.get(url)
 
# 等待Cloudflare的JavaScript完成加载
try:
    WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.ID, "cf-content")))
finally:
    print("Cloudflare JavaScript加载完成。")
 
# 暂停5秒，以符合Cloudflare的处理
time.sleep(5)
 
# 继续你的爬虫工作...
page_content = driver.page_source
 
# 清理工作
driver.quit()
 
# 处理页面内容
print(page_content)

这段代码使用了Selenium WebDriver来处理JavaScript动态内容，并通过WebDriverWait和expected\_conditions来等待Cloudflare的JavaScript加载完成。在加载完成后，代码暂停了5秒钟，以符合Cloudflare的处理，然后继续进行爬取工作。最后，代码清理了webdriver实例，并打印了页面内容以供进一步处理。