延伸:正则表达式及其在Python的爬虫中的应用(以爬取省级行政区的全称数据为例)
import requests
import re
def get_provincial_capitals(url):
"""
获取省级行政区的全称数据
:param url: 目标网页的URL
:return: 省级行政区的全称列表
"""
response = requests.get(url)
if response.status_code == 200:
html = response.text
# 正则表达式用于匹配省级行政区的全称
pattern = re.compile('<td class="provincename">(.*?)</td>')
# 查找所有匹配的全称并返回
provincial_capitals = pattern.findall(html)
return provincial_capitals
else:
return []
# 测试URL
url = 'http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201703/t20170310_1471429.html'
provincial_capitals = get_provincial_capitals(url)
print(provincial_capitals)
这段代码使用了requests库来发送HTTP请求,获取网页内容,并使用正则表达式re来解析网页,提取省级行政区的全称。代码简洁明了,注重实效,可以作为爬取类似数据的参考示例。
评论已关闭