selenium 爬虫的数据实战

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
 
# 初始化webdriver
driver = webdriver.Chrome()
 
# 打开网页
driver.get('https://www.example.com/')
 
# 等待网页加载
wait = WebDriverWait(driver, 10)
 
# 输入搜索关键字
wait.until(EC.element_to_be_clickable((By.ID, 'search-input'))).send_keys('Selenium')
 
# 点击搜索按钮
wait.until(EC.element_to_be_clickable((By.ID, 'search-button'))).click()
 
# 等待搜索结果加载
time.sleep(5)
 
# 获取搜索结果并打印
results = driver.find_elements(By.CSS_SELECTOR, 'li.result')
for result in results:
    print(result.text)
 
# 关闭webdriver
driver.quit()

这个代码示例使用了Selenium WebDriver来打开一个网页，输入搜索关键字，点击搜索按钮，并等待搜索结果的加载。然后，它会获取搜索结果并打印出来。最后，它会关闭webdriver，释放资源。这个过程展示了如何使用Selenium进行基本的网页操作和数据抓取。