Python爬虫入门：初识爬虫
import requests
from bs4 import BeautifulSoup
# 目标URL
url = 'https://www.example.com'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 打印网页标题
print(soup.title.text)
# 提取所有段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.text)
else:
print(f"请求失败，状态码: {response.status_code}")这段代码使用了requests库来发送HTTP GET请求，使用了BeautifulSoup库来解析HTML内容。代码首先检查请求是否成功，如果成功，它会打印网页标题和所有段落文本。如果请求失败，它会打印状态码。这是爬虫开发的基本步骤之一。
评论已关闭