爬虫笔记1：pycharm通过requests模块实现1简单爬虫2输入关键词获取搜索到的网页数据

'# 爬虫笔记1：pycharm通过requests模块实现1简单爬虫2输入关键词获取搜索到的网页数据

一、背景与问题

在数据驱动的软件开发中，爬虫技术是获取互联网数据的重要手段。传统开发场景中，手动抓取数据需要频繁切换浏览器、记录URL、筛选内容，效率低下。通过requests模块实现的爬虫，能够自动化完成网络请求、数据解析和存储，大大提升开发效率。

然而，实际开发中常遇到以下问题：

基础请求无法获取数据（如反爬虫机制）
无法处理分页数据
网络异常处理不完善
多参数组合查询时URL构造错误
数据格式解析失败

二、基本原理

HTTP协议是爬虫工作的核心，requests模块封装了完整的HTTP请求流程：

连接建立：通过TCP协议建立与服务器的连接
请求发送：构造包含请求头(headers)、参数(params)、正文(body)的HTTP请求
响应接收：获取服务器返回的HTTP状态码、响应头、响应体
数据解析：将响应体中的HTML/XML/JSON等格式数据转换为结构化数据

requests模块的关键技术点：

会话管理：通过Session对象保持连接复用
异常处理：封装了超时、连接错误等异常类型
请求方法：支持GET/POST/PUT/DELETE等HTTP方法
请求头控制：可自定义User-Agent、Referer等字段

三、环境准备

1. 安装依赖

pip install requests

2. PyCharm配置

创建新项目：File → New Project
添加Python解释器：Preferences → Project: Interpreter
安装requests库：在终端执行pip install requests

3. 网络环境

确保网络连接正常

部分网站可能需要配置代理：

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080'
}

四、核心实现

1. 基础请求示例

import requests

# 发送GET请求
response = requests.get('https://httpbin.org/get', params={'key': 'value'}, headers={'User-Agent': 'Mozilla/5.0'})

# 打印响应内容
print(response.status_code)       # 输出HTTP状态码
print(response.headers)           # 输出响应头
print(response.text)              # 输出响应体内容
print(response.json())            # 解析JSON格式响应

关键代码解释：

params参数用于构建查询字符串（URL编码）
headers参数模拟浏览器请求头
response.json()自动处理JSON格式的响应体

2. 带参数的搜索请求

def search_web(keyword):
    url = 'https://api.example.com/search'
    payload = {
        'q': keyword,
        'count': 10,
        'type': 'web'
    }
    headers = {
        'User-Agent': 'Mozilla/5.0',
        'Accept-Language': 'en-US'
    }
    
    try:
        response = requests.get(url, params=payload, headers=headers, timeout=5)
        response.raise_for_status()  # 检查HTTP错误
        return response.json()
    except requests.exceptions.RequestException as e:
        print(f"请求异常: {e}")
        return None

关键代码解释：

params参数自动进行URL编码
raise_for_status()检查4xx/5xx错误
timeout参数防止长时间等待
response.json()处理JSON响应

3. 分页数据处理

def get_pagination_data(base_url, page_size=10, max_pages=5):
    all_data = []
    for page in range(1, max_pages+1):
        params = {'page': page, 'size': page_size}
        response = requests.get(base_url, params=params, timeout=5)
        if response.status_code == 200:
            all_data.extend(response.json()['items'])
        else:
            break
    return all_data

关键代码解释：

使用循环处理多页数据
每页数据通过params参数传递
响应数据合并到all_data列表中
简单的错误处理机制

五、完整案例

1. 百度搜索结果爬取案例

import requests
import time

def baidu_search(keyword, max_results=10):
    base_url = 'https://api.baidu.com/search'
    headers = {
        'User-Agent': 'Mozilla/5.0',
        'Referer': 'https://www.baidu.com/',
        'Accept-Language': 'zh-CN,zh;q=0.9'
    }
    
    results = []
    for i in range(1, max_results+1):
        params = {
            'q': keyword,
            'pn': i,  # 页码参数
            'rn': 10, # 每页结果数
            'ie': 'utf8'
        }
        
        try:
            response = requests.get(base_url, params=params, headers=headers, timeout=10)
            if response.status_code == 200:
                data = response.json()
                results.extend(data['results'])
            else:
                print(f"请求失败，状态码: {response.status_code}")
                break
        except requests.exceptions.RequestException as e:
            print(f"请求异常: {e}")
            break
        time.sleep(1)  # 防止请求过快
    
    return results

运行示例：

if __name__ == '__main__':
    keywords = input("请输入搜索关键词: ")
    results = baidu_search(keywords)
    print(f"共获取到{len(results)}条结果")

关键点分析：

使用百度API进行搜索，实际开发中需申请API密钥
页码参数pn和每页结果数rn的组合控制分页
使用time.sleep(1)控制请求频率，避免被封禁
异常处理机制确保程序稳定性

六、源码解析

1. requests.get()的内部机制

def get(url, **kwargs):
    return request('GET', url, **kwargs)

会话管理：自动创建Session对象
适配器机制：使用HTTPAdapter处理不同协议
连接池：复用TCP连接提高效率

2. Session对象的使用

session = requests.Session()
session.headers.update({'User-Agent': 'CustomAgent'})
response = session.get('https://example.com')

保持会话状态（如cookies）
提升连接复用效率
支持自定义headers和cookies

3. 异常处理机制

try:
    response = requests.get('https://example.com', timeout=5)
except requests.exceptions.Timeout:
    print("请求超时")
except requests.exceptions.ConnectionError:
    print("连接错误")
except requests.exceptions.HTTPError as e:
    print(f"HTTP错误: {e.response.status_code}")

七、进阶使用

1. 使用Session复用连接

session = requests.Session()
session.headers.update({
    'User-Agent': 'Mozilla/5.0',
    'Accept-Language': 'en-US'
})
response1 = session.get('https://example.com')
response2 = session.get('https://another-example.com')

2. 处理复杂headers

headers = {
    'User-Agent': 'Mozilla/5.0',
    'Accept': 'text/html,application/xhtml+xml',
    'Accept-Encoding': 'gzip',
    'Accept-Language': 'en-US,en;q=0.9'
}

3. 使用cookies

cookies = {
    'session_id': '123456',
    'user_token': 'abcdef'
}
response = requests.get('https://example.com', cookies=cookies)

八、性能与工程实践

1. 性能优化方案

优化策略	说明
连接复用	使用Session对象保持连接
并发处理	使用concurrent.futures或asyncio进行并发
缓存机制	使用redis缓存常见请求结果
压缩传输	设置Accept-Encoding: gzip

2. 异常处理规范

def safe_request(url):
    try:
        return requests.get(url, timeout=5)
    except requests.exceptions.RequestException as e:
        print(f"请求异常: {e}")
        return None

3. 安全风险分析

IP封禁：频繁请求可能导致被封禁
反爬虫机制：网站可能使用验证码、JavaScript渲染
数据泄露：未加密的请求可能暴露敏感信息
法律风险：违反网站的robots.txt协议

九、常见问题与踩坑

1. 常见错误及解决办法

错误类型	错误示例	解决方案
User-Agent缺失	`requests.exceptions.HTTPError: 403 Forbidden`	设置合理的User-Agent
超时异常	`requests.exceptions.Timeout`	调整timeout参数或增加重试机制
SSL证书错误	`requests.exceptions.SSLError`	使用`verify=False`或安装证书

2. 分页处理错误

# 错误示例
params = {'page': 1, 'size': 10}
response = requests.get(url, params=params)

问题：未处理分页参数的递增逻辑，导致无法获取后续页数据

3. 请求参数拼接错误

# 错误示例
url = 'https://api.example.com/search'
params = {'q': 'python', 'page': 2, 'size': 10}
response = requests.get(url, params=params)

问题：未正确处理URL编码，导致参数解析错误

十、最佳实践

1. 推荐方案

使用Session对象：保持连接复用，提高效率
合理设置headers：模拟真实浏览器行为
异常处理机制：确保程序健壮性
参数校验：防止非法输入导致错误
日志记录：记录请求和响应信息便于调试

2. 推荐目录结构

project/
├── config/                # 配置文件
├── utils/                # 工具函数
│   └── requests_utils.py
├── core/                 # 核心逻辑
│   └── crawler.py
├── tests/                # 测试用例
└── main.py               # 启动文件

3. 推荐代码规范

使用requests.Session()保持连接
所有请求必须包含User-Agent
使用timeout参数控制请求时间
所有异常必须有对应的处理逻辑

十一、总结

通过requests模块实现的简单爬虫，是数据采集的基础工具。在实际开发中，需要充分理解HTTP协议原理，合理使用Session对象，设置合理的headers，处理异常情况，并注意安全风险。

本方案适用于：

数据采集需求明确的场景
需要批量处理数据的场景
需要自动化获取数据的场景

但不适用于：

需要处理动态加载内容的场景（需使用Selenium）
需要处理复杂反爬机制的场景
需要处理大量数据的场景（需结合数据库）

在开发过程中，要始终遵循合法合规的原则，尊重网站的robots.txt协议，合理控制请求频率，避免对服务器造成过大负担。

爬虫笔记1：pycharm通过requests模块实现1简单爬虫2输入关键词获取搜索到的网页数据

一、背景与问题

二、基本原理

三、环境准备

1. 安装依赖

2. PyCharm配置

3. 网络环境

四、核心实现

1. 基础请求示例

2. 带参数的搜索请求

3. 分页数据处理

五、完整案例

1. 百度搜索结果爬取案例

六、源码解析

1. requests.get()的内部机制

2. Session对象的使用

3. 异常处理机制

七、进阶使用

1. 使用Session复用连接

2. 处理复杂headers

3. 使用cookies

八、性能与工程实践

1. 性能优化方案

2. 异常处理规范

3. 安全风险分析

九、常见问题与踩坑

1. 常见错误及解决办法

2. 分页处理错误

3. 请求参数拼接错误

十、最佳实践

1. 推荐方案

2. 推荐目录结构

3. 推荐代码规范

十一、总结

评论已关闭

推荐阅读