Python编程-使用urllib进行网络爬虫常用内容梳理

import urllib.request
import urllib.parse
 
# 网络爬虫常用函数
def fetch(url, headers=None, data=None):
    """
    发送HTTP请求的函数
    :param url: 字符串，请求的URL
    :param headers: 字典，HTTP请求头
    :param data: 字典或字节串，发送到服务器的数据
    :return: 返回服务器的响应内容
    """
    if data is not None:
        data = urllib.parse.urlencode(data).encode('utf-8')
    req = urllib.request.Request(url, data, headers)
    response = urllib.request.urlopen(req)
    return response.read()
 
# 使用示例
url = 'http://example.com/'
headers = {'User-Agent': 'My-App/0.1'}
data = {'key': 'value'}
 
# 发送请求并获取响应
response = fetch(url, headers, data)
print(response)

这段代码定义了一个名为fetch的函数，它接受URL、请求头和数据作为参数，并返回从服务器收到的响应。然后通过一个简单的使用示例来演示如何使用这个函数发送HTTP请求。这个例子展示了如何使用urllib进行基本的网络爬虫操作。