python爬虫urllib模块详解

urllib 是 Python 中用于处理 URL 的标准库，提供了打开和获取 URL 数据的接口。在 Python 3 中，urllib 被拆分为几个子模块，常用的有 urllib.request、urllib.parse 和 urllib.error。

1. urllib.request：用于打开和读取 URL 数据。
2. urllib.parse：用于解析 URL。
3. urllib.error：用于处理请求过程中出现的错误。

以下是使用 urllib.request 下载网页内容的示例代码：

import urllib.request
 
# 打开一个 URL 链接
response = urllib.request.urlopen('http://www.example.com')
 
# 读取数据
html = response.read()
 
# 将读取的数据转换为字符串
html_str = html.decode('utf-8')
 
print(html_str)

以下是使用 urllib.parse 构造查询参数的示例代码：

from urllib.parse import urlencode
from urllib.request import Request, urlopen
 
# 创建一个字典，包含查询参数
params = {
    'query': 'Python',
    'page': 1
}
 
# 将查询参数编码为 URL 格式
encoded_params = urlencode(params)
 
# 构造完整的 URL
url = 'http://www.example.com/search?' + encoded_params
 
# 打开 URL
response = urlopen(url)
 
# 读取数据
html = response.read()
 
# 转换为字符串并打印
html_str = html.decode('utf-8')
print(html_str)

以上代码演示了如何使用 urllib 来进行简单的网络请求和参数编码，实现了网页内容的下载和查询参数的构建。在实际应用中，可能还需要处理更复杂的情况，如设置请求头、处理 Cookie、处理 HTTP 错误等，这些可以通过 urllib.request 和 urllib.error 来实现。