Python从入门到网络爬虫（23个Python开源项目）
由于篇幅限制，这里我们只展示其中的一个项目：使用Python进行网页抓取的例子。
import requests
from bs4 import BeautifulSoup
# 目标URL
url = 'https://www.example.com/'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取标题
title = soup.title.text
print(f'网页标题: {title}')
# 提取所有段落
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.text)
else:
print('网页抓取失败')这段代码展示了如何使用Python的requests库来发送HTTP请求，以及如何使用BeautifulSoup库来解析HTML并提取网页中的标题和段落文本。这是学习网络爬虫的基本技能，对于想要了解如何使用Python进行数据提取的开发者来说，这是一个很好的起点。
评论已关闭