Python 网络爬虫的常用库汇总（建议收藏）

'# Python 网络爬虫的常用库汇总（建议收藏）

一、背景与问题

网络爬虫是数据获取的核心技术之一，其本质是通过程序模拟人类浏览器的行为，从互联网中提取结构化数据。根据不同的应用场景，开发者需要选择不同的工具和技术栈。Python 作为数据科学领域的主流语言，提供了丰富的爬虫库，但这些库在底层原理、适用场景、性能特征和安全风险上存在显著差异。

本文将深入分析 Python 网络爬虫的常用库，涵盖核心原理、实践案例、性能优化和安全考量。重点包括：

• 各库的底层工作原理
• 实际开发中的适用场景
• 常见错误及解决方案
• 性能调优方法
• 安全风险与防护机制

二、基本原理

网络爬虫的核心流程包含三个阶段：请求发送、响应接收、数据解析。不同库在实现这三个阶段时采用了不同的技术路线：

1. 请求发送：通过 HTTP 协议与目标服务器通信，支持 GET/POST 等方法
2. 响应接收：解析 HTTP 响应头和正文，处理重定向和状态码
3. 数据解析：将 HTML 或 JSON 数据转化为结构化对象，常用方式包括正则表达式、DOM 解析器和 XPath 查询

三、环境准备

# 安装常用库
pip install requests beautifulsoup4 scrapy selenium playwright

四、核心实现

1. requests + BeautifulSoup：基础爬虫方案

import requests
from bs4 import BeautifulSoup

# 发送GET请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4443.114 Safari/537.36'
}
response = requests.get('https://example.com', headers=headers)

# 响应状态码检查
if response.status_code == 200:
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    # 提取标题
    title = soup.find('title').get_text()
    print(f"页面标题: {title}")
else:
    print(f"请求失败，状态码: {response.status_code}")

关键代码解释：

• headers 字段模拟浏览器请求，避免被服务器识别为爬虫
• response.status_code 检查 HTTP 状态码，200 表示请求成功
• BeautifulSoup 使用 HTML 解析器（html.parser）提取页面元素

2. Scrapy：分布式爬虫框架

# items.py
import scrapy

class ExampleItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

# spider.py
import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['https://example.com']

    def parse(self, response):
        for item in response.css('div.item'):
            yield {
                'title': item.css('h2::text').get(),
                'link': item.css('a::attr(href)').get(),
                'desc': item.css('p::text').get()
            }

关键代码解释：

• Scrapy 提供了完整的爬虫生命周期管理，包括请求队列、解析规则和数据导出
• start_urls 是爬虫的起始 URL 列表
• parse 方法定义了如何处理响应内容，支持 CSS 选择器和 XPath 表达式

3. Selenium + Playwright：动态内容处理

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto('https://example.com')
    
    # 等待元素加载
    page.wait_for_selector('div#content')
    
    # 提取动态内容
    content = page.inner_text('div#content')
    print(f"动态内容: {content}")
    
    browser.close()

关键代码解释：

• Playwright 提供了浏览器自动化接口，支持现代前端框架（React/Vue）
• wait_for_selector 确保元素加载完成后再提取内容
• inner_text 方法获取元素的文本内容

五、完整案例

案例：爬取豆瓣电影Top250数据

1. 项目结构

douban_crawler/
│
├── main.py                # 主程序
├── pipelines.py          # 数据处理
├── settings.py           # 配置文件
├── spiders/              # 爬虫模块
│   └── douban.py         # 豆瓣爬虫
└── items.py              # 数据结构

2. 代码实现

# spiders/douban.py
import scrapy
from ..items import DoubanItem

class DoubanSpider(scrapy.Spider):
    name = 'douban'
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        for item in response.css('div.item'):
            yield DoubanItem(
                title=item.css('span.title::text').get(),
                rating=item.css('span.rating_num::text').get(),
                comments=item.css('span.quote::text').get()
            )
        
        # 提取下一页链接
        next_page = response.css('span.next a::attr(href)').get()
        if next_page and 'start' in next_page:
            yield response.follow(next_page, self.parse)

# pipelines.py
import json

class JsonWriterPipeline:
    def open_spider(self, spider):
        self.file = open('movies.json', 'w', encoding='utf-8')
    
    def close_spider(self, spider):
        self.file.close()
    
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + '\n'
        self.file.write(line)
        return item

3. 运行命令

scrapy crawl douban -o movies.json

关键点：

• 使用 Scrapy 框架处理分页和数据导出
• 通过 start 参数实现分页爬取
• JSON 管道将数据存储为结构化文件

六、源码解析

以 requests 库的源码为例，其核心流程如下：

1. 构造 HTTP 请求头和正文
2. 使用 urllib3 库发送请求
3. 处理响应头和正文
4. 返回响应对象

# requests/models.py
class Response:
    def __init__(self, raw, headers, status_code, ...):
        self._content = raw.read()
        self.headers = headers
        self.status_code = status_code

关键点：

• 响应对象封装了完整的 HTTP 响应
• 通过 text 属性获取解码后的文本内容
• status_code 用于判断请求是否成功

七、进阶使用

1. 并发处理

使用 concurrent.futures 实现多线程爬虫：

from concurrent.futures import ThreadPoolExecutor

def fetch_page(url):
    response = requests.get(url)
    return response.text

urls = ['https://example.com'] * 10
results = ThreadPoolExecutor(max_workers=5).map(fetch_page, urls)

2. 异步处理

使用 aiohttp 实现异步爬虫：

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        results = await asyncio.gather(*tasks)

3. 数据存储

使用 SQLite 存储数据：

import sqlite3

conn = sqlite3.connect('movies.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS movies (title TEXT, rating REAL)')
cursor.executemany('INSERT INTO movies VALUES (?, ?)', [(item['title'], item['rating']) for item in data])
conn.commit()

八、性能与工程实践

1. 性能优化策略

2. 异常处理

try:
    response = requests.get(url, timeout=5)
except requests.exceptions.RequestException as e:
    print(f"请求异常: {e}")
    # 记录日志并重试

3. 安全考量

• 反爬机制：网站常采用 User-Agent 检测、IP 封锁、验证码等手段
• 安全风险：爬虫可能因频繁请求导致账号被封，或因数据泄露导致隐私问题
• 防护措施：使用代理池、设置请求间隔、处理验证码（如使用 2captcha）

九、常见问题与踩坑

1. 常见错误

2. 实际案例

某电商爬虫项目因未处理反爬机制导致账号被封：

# 错误代码
requests.get('https://www.example.com', headers={'User-Agent': 'curl/7.68.0'})

# 改进代码
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4443.114 Safari/537.36',
    'Referer': 'https://www.example.com'
}

十、最佳实践

1. 选择合适库：

   • 简单场景：requests + BeautifulSoup
   • 中等规模：Scrapy
   • 动态内容：Playwright 或 Selenium
   • 高性能需求：aiohttp + 异步处理

2. 遵循规则：

   • 设置合理的请求间隔（建议 1-3 秒）
   • 遵守网站的 robots.txt 文件
   • 不要频繁请求同一资源

3. 安全防护：

   • 使用代理池（如 https://api.proxyscrape.com）
   • 处理验证码（使用 2captcha 或 Anti-Captcha）
   • 加密敏感数据（如使用 cryptography 库）

4. 性能优化：

   • 使用 requests-cache 缓存响应
   • 使用 grequests 实现并发请求
   • 使用 pymongo 进行分布式存储

十一、总结

Python 网络爬虫技术涵盖从基础请求到复杂数据处理的完整体系，不同库在适用场景、性能特征和实现复杂度上有显著差异。开发过程中需要根据具体需求选择合适的工具，同时注意处理反爬机制、异常情况和性能优化。

掌握这些技术不仅能提升数据获取效率，还能在实际项目中应对复杂的业务需求。记住：爬虫技术的终极目标是为业务创造价值，而非单纯的数据获取。在使用过程中，始终遵循法律法规和网站条款，才能实现可持续发展。