网络请求爬虫【requests】和自动化爬虫【selenium】

requests 和 selenium 是用于网络爬虫的两种不同技术。

1. requests 爬虫：

requests 是一个 Python 的 HTTP 客户端，它允许你发送 HTTP 请求并获取网页的内容。这是一种非常快速的爬虫，因为它不需要启动完整的浏览器。然而，它无法处理 JavaScript 渲染的网页，因为它无法执行 JavaScript。

示例代码：

import requests
 
url = 'http://example.com'
response = requests.get(url)
html = response.text
print(html)

2. selenium 爬虫：

selenium 是一个用于网页自动化的库，包括自动化测试工具和API。它允许你启动完整的浏览器，并模拟用户交互，比如点击按钮、填写表单、滚动页面等。selenium 可以处理 JavaScript 渲染的网页，因为它启动了一个完整的浏览器。

示例代码：

from selenium import webdriver
 
driver = webdriver.Chrome()
driver.get('http://example.com')
html = driver.page_source
print(html)
driver.quit()

在选择 requests 还是 selenium 时，你需要考虑你需要抓取的网页类型。如果网页不需要 JavaScript 渲染，那么你可以使用 requests。如果网页需要 JavaScript 渲染，那么你需要使用 selenium。