分享Python7个爬虫小案例_爬虫案例
由于篇幅限制，这里我们只展示第一个爬虫案例的核心代码。其余案例的代码可以按照类似的方式进行查看和理解。
案例一：简单的网页爬取
import requests
from bs4 import BeautifulSoup
# 目标URL
url = 'https://www.example.com'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取网页标题
title = soup.title.text
print(f'网页标题: {title}')
# 提取所有段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.text)
else:
print('网页爬取失败')这段代码展示了如何使用Python的requests库来发送HTTP请求，以及如何使用BeautifulSoup库来解析HTML并提取网页中的数据。这是爬虫开发中最基础且常用的技术。
评论已关闭