【Python】爬虫-基础入门
import requests
from bs4 import BeautifulSoup
# 目标URL
url = 'https://www.example.com'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取页面标题
title = soup.title.text
print(f'页面标题: {title}')
# 提取所有段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.text)
else:
print('请求失败')这段代码使用了requests库来发送HTTP GET请求，使用了BeautifulSoup库来解析HTML内容，并提取了页面标题和段落文本。这是爬虫开发中最基础的步骤，适合作为入门级教程。在实际应用中，你可能还需要处理更复杂的情况，如处理AJAX请求、应对反爬机制、处理动态内容等。
评论已关闭