Python爬虫抓取对html进行解析的利器Beautiful Soup
from bs4 import BeautifulSoup
import requests
# 目标URL
url = 'https://www.example.com'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用html解析器解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 打印页面的标题
print(soup.title.text)
# 找到所有的段落<p>并打印它们的内容
for p in soup.find_all('p'):
print(p.text)
else:
print(f"请求页面失败，状态码：{response.status_code}")这段代码使用了Beautiful Soup库来解析从网页获取的HTML内容。首先，它发送一个HTTP GET请求到指定的URL，然后检查请求是否成功。如果成功，它使用默认的HTML解析器来解析响应内容，并打印网页的标题以及所有段落的文本内容。如果请求失败，它会打印状态码。这是一个简单的示例，展示了如何使用Beautiful Soup来进行基本的网页抓取和解析。
评论已关闭