Python爬虫怎么爬取动态页面数据（ajax）详解

要爬取动态页面数据，通常需要使用工具来处理JavaScript渲染的页面，如Selenium、Splash、Puppeteer等。以下是使用Selenium和Chrome WebDriver的一个例子：

1. 安装所需库：

pip install selenium

2. 下载对应版本的Chrome WebDriver：

   https://sites.google.com/a/chromium.org/chromedriver/

3. 编写Python代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
 
# 设置Chrome WebDriver的路径
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--headless")  # 如果不需要可以看到浏览器运行，去掉此行
driver_path = 'path/to/your/chromedriver'
 
# 初始化WebDriver
driver = webdriver.Chrome(executable_path=driver_path, options=chrome_options)
 
# 打开页面
driver.get('http://example.com')
 
# 等待页面加载完成，可以使用显式等待
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.ID, 'dynamic_content')))
 
# 获取动态内容
content = driver.find_element(By.ID, 'dynamic_content').text
 
print(content)
 
# 清理工作，关闭浏览器
driver.quit()

在这个例子中，http://example.com 是你要爬取的页面，#dynamic_content 是页面中动态内容的元素ID。这段代码会启动一个无头的Chrome浏览器，打开页面，并等待动态内容加载完成后提取数据。记得替换driver_path为你的Chrome WebDriver的实际路径。