【爬虫】5.5 Selenium 爬取Ajax网页数据

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
 
# 初始化webdriver
driver = webdriver.Chrome()
 
# 打开目标网页
driver.get('http://www.example.com/ajax_page')
 
# 等待Ajax内容加载完成的条件：某个特定元素出现在页面上
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.ID, 'some-id')))
 
# 如果需要，可以进行交互，例如点击按钮加载更多内容
load_more_button = driver.find_element_by_id('load-more-button')
load_more_button.click()
 
# 等待更多内容加载完成
more_elements = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'some-class')))
 
# 滚动页面到指定位置
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
 
# 提取页面数据
data = driver.find_elements_by_css_selector('div.some-data > span.data-item')
for item in data:
    print(item.text)
 
# 关闭webdriver
time.sleep(2)  # 等待2秒，以便于观察页面效果
driver.quit()

这段代码使用了Selenium WebDriver和Expected Conditions来处理Ajax页面。它首先打开网页，然后等待特定的元素加载完成，接着可以进行交互（如点击加载更多按钮），并等待更多内容的加载。最后，它提取页面数据并关闭webdriver。注意，实际使用时需要替换'http://www.example.com/ajax\_page'、'some-id'、'load-more-button'和'some-class'为实际的网页URL、元素ID、按钮类名和数据元素类名。