爬虫 — 自动化爬虫 Selenium

Selenium是一个用于自动化web浏览器的开源工具。它提供了一种方法来编写程序化测试脚本，可以用来模拟用户交互。

以下是一个使用Python和Selenium的简单示例，它会打开一个Chrome浏览器，然后导航到Google主页，并在搜索框中输入文本，然后提交搜索。

首先，你需要安装selenium库和chromedriver。你可以通过pip安装selenium：

pip install selenium

然后，你需要下载与你的Chrome浏览器版本相对应的chromedriver。你可以从这里下载：https://sites.google.com/a/chromium.org/chromedriver/downloads

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
 
# 确保下载chromedriver并且在你的PATH中
driver = webdriver.Chrome()
 
# 打开Google主页
driver.get("http://www.google.com")
 
# 找到搜索框元素
search_box = driver.find_element_by_name("q")
 
# 清除搜索框并输入搜索关键字
search_box.clear()
search_box.send_keys("Selenium with Python")
 
# 提交搜索
search_box.send_keys(Keys.RETURN)
 
# 关闭浏览器
driver.close()

这个简单的示例展示了如何使用Selenium来自动化打开浏览器、导航到页面、模拟用户输入和操作。