requests实现爬虫

使用requests库实现一个简单的网络爬虫，可以按照以下步骤进行：

1. 导入requests库。
2. 使用requests.get()方法获取网页内容。
3. 检查响应状态码，确认请求成功。
4. 解析网页内容（例如使用BeautifulSoup）。
5. 提取需要的数据。

以下是一个简单的示例代码，展示如何使用requests获取一个网页的内容并使用BeautifulSoup解析：

import requests
from bs4 import BeautifulSoup
 
# 目标网页URL
url = 'http://example.com'
 
# 发送GET请求
response = requests.get(url)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取数据，例如提取所有的段落
    paragraphs = soup.find_all('p')
    for p in paragraphs:
        print(p.text)
else:
    print(f"请求失败，状态码：{response.status_code}")

确保在使用前安装了requests和beautifulsoup4库：

pip install requests
pip install beautifulsoup4

这个例子仅用于说明如何使用requests和BeautifulSoup进行基本的网页爬取操作，实际爬虫项目可能需要处理更复杂的情况，如处理Cookies、Session管理、反爬虫策略、异步请求等。