python爬虫入门，轻松爬取网页上的数据(非常详细)
import requests
from bs4 import BeautifulSoup
# 目标网页URL
url = 'http://example.com/'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取数据
# 例如，提取所有的段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.get_text())
# 注意：以上代码仅为示例，请根据实际网页结构调整选择器。这段代码使用了requests库来发送HTTP GET请求，获取网页内容，并使用BeautifulSoup库来解析HTML，提取特定元素的文本。这是Python爬虫的基本步骤，适用于入门级别的教学。在实际应用中，可能需要处理更复杂的情况，如处理AJAX动态加载的内容、处理登录验证、处理图片、视频等多媒体内容，以及遵守robots.txt协议和其他网络道德规范。
评论已关闭