Python使用XPath解析HTML：从入门到精通
from lxml import etree
# 示例HTML内容
html_content = """
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>示例页面</title>
</head>
<body>
<div id="content">
<ul>
<li class="item-0">第一项</li>
<li class="item-1"><a href="link2.html">第二项</a></li>
<li class="item-0"><a href="link3.html">第三项</a></li>
<li class="item-1"><a href="link4.html">第四项</a></li>
</ul>
</div>
</body>
</html>
"""
# 解析HTML内容
html = etree.HTML(html_content)
# 使用XPath选择所有的<li>元素
li_elements = html.xpath('//li')
# 打印每个<li>元素的内容
for li in li_elements:
print(li.text)
# 选择所有带有class "item-0"的<li>元素
item_0_elements = html.xpath('//li[@class="item-0"]')
# 打印这些特定<li>元素的内容
for item in item_0_elements:
print(item.text)
# 选择所有<li>元素下的直接<a>子元素的href属性
a_hrefs = html.xpath('//li/a/@href')
# 打印链接地址
for href in a_hrefs:
print(href)这段代码首先导入了lxml库的etree模块，然后定义了一个包含HTML内容的字符串。接着使用etree.HTML方法解析这个字符串，并使用XPath表达式选取了不同的元素。最后，它打印了选取元素的文本内容和属性。这个例子展示了如何使用XPath来查询HTML文档的结构，这是进行网络爬虫开发的基本技能。
评论已关闭