【python】初识爬虫
import requests
from bs4 import BeautifulSoup
# 目标网页URL
url = 'https://www.example.com'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取标题
title = soup.title.text
print(f'网页标题: {title}')
# 提取所有段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.text)
else:
print('网页请求失败')这段代码使用了requests库来发送HTTP GET请求，获取网页内容，然后使用BeautifulSoup库来解析HTML并提取数据。代码首先检查请求是否成功，如果成功，它会打印网页标题和所有段落文本。如果请求失败，它会输出错误消息。这是一个简单的网页爬取示例，适合作为学习爬虫的入门教程。
评论已关闭