python-快速上手爬虫
import requests
from bs4 import BeautifulSoup
# 发送HTTP请求
url = 'https://www.example.com'
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取所需信息
title = soup.title.text
print(f'网页标题: {title}')
# 可以进一步提取其他想要的数据
# 例如提取所有段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.text)
else:
print(f'请求网页失败，状态码: {response.status_code}')这段代码使用了requests库来发送HTTP GET请求，使用了BeautifulSoup库来解析HTML并提取数据。代码首先检查请求是否成功，如果成功，它会打印网页标题和所有段落文本。如果请求失败，它会打印状态码。这是一个简单的Python爬虫示例，适合初学者学习。
评论已关闭