5.网络爬虫——Xpath解析
Xpath是一种在XML（HTML也可以被视为XML的一种）文档中查找信息的语言，可以用来在HTML中对元素和属性进行导航。
以下是一个使用Python的库lxml来解析HTML并使用Xpath表达式的例子：
from lxml import etree
html = """
<html>
<head>
<title>Example page</title>
</head>
<body>
<div id="container">
<ul class="list">
<li class="item">Item 1</li>
<li class="item">Item 2</li>
<li class="item">Item 3</li>
</ul>
</div>
</body>
</html>
"""
# 解析HTML
tree = etree.HTML(html)
# 使用Xpath表达式获取所有的li元素
li_elements = tree.xpath('//li')
# 打印每个li元素的内容
for li in li_elements:
print(li.text)在这个例子中，我们首先导入了lxml库中的etree模块。然后我们定义了一个包含HTML内容的字符串。我们使用etree.HTML()函数将字符串解析成一个Xpath可以处理的树形结构。接着我们使用Xpath表达式 '//li' 来选取所有的li元素，并打印出它们的文本内容。
这只是Xpath在网络爬虫中使用的一个基本例子，Xpath表达式可以非常复杂，可以用来选取具有特定属性或在特定子树中的元素。
评论已关闭