《Python 网络爬虫简易速速上手小册》第4章：Python 网络爬虫数据抓取技术（2024 最新版）
import requests
from bs4 import BeautifulSoup
# 目标网页URL
url = 'https://example.com/some_page'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取所需数据
# 假设我们要抓取所有的段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.get_text())
else:
print(f"Error fetching: {response.status_code}")
# 注意：以上代码仅作为示例，实际使用时需要根据目标网页的结构进行相应的调整。这段代码使用了requests库来发送HTTP GET请求，并使用BeautifulSoup库来解析HTML内容。代码示例中假设我们要抓取网页中的所有段落文本，并打印输出。这个例子展示了如何使用Python网络爬虫的基本技术来抓取和处理网页数据。
评论已关闭