python爬虫基础html内容解析库BeautifulSoup
BeautifulSoup是一个Python库，用于解析HTML和XML文档。它提供了一种简单的方法来导航、搜索和修改解析树。
以下是一个使用BeautifulSoup库解析HTML内容的基本示例：
from bs4 import BeautifulSoup
# 示例HTML内容
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<div class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</div>
<p class="story">...</p>
"""
# 用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html_doc, 'html.parser')
# 获取并打印标题
title = soup.title.string
print(title)
# 获取所有链接
for link in soup.find_all('a'):
print(link.get('href'))
# 查找特定的标签和属性
div = soup.find('div', {'class': 'story'})
print(div.text)这段代码首先导入了BeautifulSoup模块，并定义了一个HTML文档的字符串。然后，它使用html.parser解析器实例化了一个BeautifulSoup对象。接下来，我们通过访问.title直接获取标题，使用.find_all()方法获取所有的链接，并且使用.find()方法查找特定的div标签内容。最后，我们打印出标题、链接和文本内容。
评论已关闭