爬虫 - 基于requests进行二次开发

为了基于requests进行二次开发，你需要使用requests库的功能来发送HTTP请求，并处理返回的响应。以下是一个简单的例子，展示了如何使用requests来获取一个网页的内容：

import requests
 
def fetch_url(url):
    try:
        response = requests.get(url)  # 发送GET请求
        if response.status_code == 200:  # 请求成功
            return response.text  # 返回网页内容
        else:
            return "Error: {}".format(response.status_code)
    except requests.exceptions.RequestException:
        return "Error: Network error occurred"
 
url = "http://example.com"
print(fetch_url(url))

在这个例子中，fetch_url函数接受一个URL，使用requests.get方法发送一个GET请求，然后检查响应状态码。如果状态码是200，表示请求成功，返回网页内容；如果不是，则返回错误信息。如果发生网络异常，捕获异常并返回异常信息。

这只是一个基本的例子，实际的爬虫可能需要处理更复杂的情况，比如处理Cookies、Session持久化、处理AJAX请求、反爬虫策略（如布隆过滤器、CAPTCHA等）、网页解析（使用BeautifulSoup或正则表达式等）以及并发请求等。