Python爬虫入门系列之Scrapy爬取Ajax网页

作者： 分类：所有,ajax 字数：7997

'# Python爬虫入门系列之Scrapy爬取Ajax网页

一、背景与问题

在当今的Web开发中，Ajax技术已成为动态加载内容的标准实践。传统爬虫工具（如requests+BeautifulSoup）在处理这类页面时面临严重挑战：当页面通过JavaScript动态加载数据时，服务器返回的HTML内容可能包含空数据容器（如<div class="content"></div>），而真实数据需通过JavaScript计算后注入。

Scrapy作为Python最成熟的爬虫框架，其设计初衷是处理静态网页。但通过合理的配置和扩展，Scrapy仍可应对Ajax场景。本文将深入探讨Scrapy处理Ajax页面的原理、实现方式、性能优化及实际应用边界。

二、基本原理

1. Ajax页面的特殊性

Ajax页面的核心特征是：服务器返回的HTML中，关键数据区域是空的（empty），真实数据由前端JavaScript在客户端执行后注入。例如：

<div id="content">
  <!-- 通过JavaScript动态填充 -->
</div>

传统爬虫直接解析HTML时，会看到空的<div>标签，无法获取真实数据。

2. Scrapy的局限性

Scrapy的Spider组件是同步阻塞的，无法直接执行JavaScript。其核心机制如下：

  • 使用requests发送HTTP请求
  • 通过Selector解析HTML响应
  • 无法处理动态生成的DOM结构

3. 解决方案分类

处理Ajax页面有三种主要方案：

  1. 模拟JavaScript执行（如Selenium/Playwright）
  2. 中间件代理渲染（如Scrapy-Splash）
  3. 逆向工程API接口（如分析XHR请求）

三、环境准备

1. 安装依赖

pip install scrapy
pip install scrapy-splash  # 用于渲染JS页面

2. 启动Splash服务

docker run -p 5000:5000 -p 8050:8050 -p 8051:8051 -v /tmp:/tmp --name splash -d scrapinghub/splash

3. 配置文件示例

# settings.py
SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashAwareSpiderMiddleware': 560,
}
DOWNLOAD_HANDLERS = {
    'http': 'scrapy_splash.splash_download_handler:SplashDownloadHandler',
    'https': 'scrapy_splash.splash_download_handler:SplashDownloadHandler',
}

四、核心实现

1. 使用Scrapy-Splash渲染页面

import scrapy
from scrapy_splash import SplashRequest

class AjaxSpider(scrapy.Spider):
    name = 'ajax_spider'
    
    def start_requests(self):
        yield SplashRequest(
            url='https://example.com/ajax_page',
            callback=self.parse,
            args={
                'wait': 2,  # 等待JS执行完成
                'timeout': 10
            }
        )
    
    def parse(self, response):
        # 解析动态渲染后的HTML
        yield {
            'content': response.selector.xpath('//div[@id="content"]/text()').get()
        }

关键代码解释：

  • SplashRequest替代普通Request
  • args参数控制渲染行为
  • wait参数指定等待JS执行的时间（单位：秒）
  • timeout控制超时时间

2. 使用Selenium模拟浏览器

from selenium import webdriver
from selenium.webdriver.common.by import By

class SeleniumSpider(scrapy.Spider):
    name = 'selenium_spider'
    
    def start_requests(self):
        driver = webdriver.Chrome()
        driver.get('https://example.com/ajax_page')
        yield {
            'content': driver.find_element(By.ID, 'content').text
        }
        driver.quit()

注意事项：

  • 需要安装ChromeDriver
  • 存在性能瓶颈（内存占用高）
  • 不支持Scrapy的分布式爬虫特性

3. 逆向分析API接口

import scrapy
import requests

class ApiSpider(scrapy.Spider):
    name = 'api_spider'
    
    def start_requests(self):
        url = 'https://example.com/api/data'
        headers = {'Referer': 'https://example.com/ajax_page'}
        yield scrapy.Request(
            url=url,
            headers=headers,
            callback=self.parse_api
        )
    
    def parse_api(self, response):
        data = response.json()
        yield {
            'items': data['items']
        }

关键点：

  • 需要分析浏览器开发者工具中的Network面板
  • 注意请求头（Referer、User-Agent等）
  • 处理API的认证机制（如Token、OAuth）

五、完整案例

1. 豆瓣电影评论爬虫（完整流程）

项目结构

douban_spider/
├── douban_spider/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   └── settings.py
├── spiders/
│   └── douban_comments.py
└── scrapy.cfg

Spider实现

import scrapy
from scrapy_splash import SplashRequest
from ..items import DoubanItem

class DoubanCommentsSpider(scrapy.Spider):
    name = 'douban_comments'
    allowed_domains = ['douban.com']
    start_urls = ['https://movie.douban.com/subject/12345678/comments']

    def start_requests(self):
        yield SplashRequest(
            url=self.start_urls[0],
            callback=self.parse,
            args={
                'wait': 3,
                'timeout': 15
            }
        )

    def parse(self, response):
        # 提取评论内容
        for comment in response.selector.css('div.comment-content'):
            yield {
                'text': comment.get(),
                'author': comment.xpath('..//span[property="v:author"]/text()').get()
            }
        
        # 翻页处理
        next_page = response.selector.css('a.next::attr(href)').get()
        if next_page:
            yield SplashRequest(
                url=next_page,
                callback=self.parse,
                args={
                    'wait': 3,
                    'timeout': 15
                }
            )

管道处理

import json

class DoubanPipeline:
    def process_item(self, item, spider):
        with open('comments.json', 'a') as f:
            f.write(json.dumps(item, ensure_ascii=False) + '\n')
        return item

性能优化

  • 设置DOWNLOAD_DELAY=1避免被封IP
  • 使用CONCURRENT_REQUESTS=32控制并发数
  • 增加USER_AGENT随机化

六、源码解析

1. SplashRequest的执行流程

def __init__(self, url, callback, args, *args, **kwargs):
    self.url = url
    self.callback = callback
    self.args = args
    self.kwargs = kwargs
    self._set_request()
  • 通过args参数传递渲染参数
  • 生成http://localhost:8050/render.json的请求
  • 接收渲染后的HTML内容

2. Scrapy-Splash的渲染机制

def get_rendered_response(self, request):
    url = self._construct_url(request)
    response = self._fetch(url)
    return response
  • 构造特殊URL格式
  • 使用lua脚本执行渲染
  • 返回完整的HTML内容

七、进阶使用

1. 多级渲染处理

def parse(self, response):
    # 第一级渲染
    yield SplashRequest(
        url='https://example.com/level1',
        callback=self.parse_level2,
        args={'wait': 2}
    )
    
def parse_level2(self, response):
    # 第二级渲染
    yield SplashRequest(
        url=response.selector.css('a.next::attr(href)').get(),
        callback=self.parse_level3
    )

2. 动态参数注入

def start_requests(self):
    for page in range(1, 11):
        yield SplashRequest(
            url=f'https://example.com/api?page={page}',
            callback=self.parse,
            args={'wait': 1}
        )

3. 爬虫状态监控

from scrapy import signals
from scrapy.crawler import CrawlerProcess

def setup_crawler():
    process = CrawlerProcess({
        'USER_AGENT': 'Mozilla/5.0',
        'LOG_LEVEL': 'INFO'
    })
    process.crawl(DoubanCommentsSpider)
    process.start()

八、性能与工程实践

1. 性能优化方案

优化措施说明
限速机制使用DOWNLOAD_DELAY=1
并发控制设置CONCURRENT_REQUESTS=32
缓存机制使用HTTPCACHE_ENABLED=True
压缩传输启用COMPRESS_RESPONSE=True

2. 异常处理策略

def parse(self, response):
    try:
        # 主逻辑
    except Exception as e:
        self.logger.error(f"Error: {e}")
        # 重试机制
        yield SplashRequest(
            url=response.url,
            callback=self.parse,
            retry=3
        )

3. 安全防护

  • 避免使用USER_AGENT指纹
  • 配置HTTPERROR_ALLOWED_CODES = [404, 500]
  • 添加HTTPCACHE_IGNORE_HTTP_CODES = [500, 502, 503, 504]

九、常见问题与踩坑

1. 常见错误及解决方案

问题原因解决方案
403 Forbidden未设置User-Agent在settings.py中配置USER_AGENT
500 Internal Server Error渲染参数错误调整wait和timeout参数
数据为空JS执行未完成增加wait时间
无法连接Splash服务未启动检查Docker容器状态

2. 典型错误示例

# 错误代码
yield SplashRequest(
    url='https://example.com',
    callback=self.parse
)

问题：未指定args参数，导致默认等待时间为0秒
修正：

yield SplashRequest(
    url='https://example.com',
    callback=self.parse,
    args={'wait': 2}
)

十、最佳实践

1. 推荐使用场景

  • 网站使用大量Ajax动态加载内容
  • 可获取API接口但需处理认证
  • 需要处理复杂的前端逻辑（如React/Vue应用）

2. 不推荐使用场景

  • 简单静态页面（使用requests更高效）
  • 需要处理大量数据（推荐使用分布式爬虫）
  • 有反爬机制（建议使用更高级的爬虫框架）

3. 综合实践建议

  • 首选方案：逆向API接口（若可行）
  • 次选方案：Scrapy-Splash（处理复杂JS）
  • 临时方案：Selenium（小规模项目）

十一、总结

Scrapy处理Ajax页面的核心在于理解其工作原理和选择合适的实现方案。通过Scrapy-Splash、Selenium或逆向API接口，可以有效突破传统爬虫的限制。在实际开发中，应根据项目规模、数据复杂度和反爬机制选择合适的方案。

关键注意事项：

  • 避免过度使用Selenium，因其性能开销大
  • 确保处理反爬机制（如IP封禁、验证码）
  • 始终优先考虑接口逆向而非页面爬取
  • 建立完善的异常处理和重试机制

通过合理配置和实践，Scrapy可以高效应对Ajax场景，但需始终遵循"最小化侵入"原则，避免对目标网站造成过大负担。

ajax , python
最后修改于：2026年09月15日 11:25

评论已关闭

推荐阅读

AIGC实战——Transformer模型
2024年12月01日
python , AI , 机器学习
Socket TCP 和 UDP 编程基础（Python）
2024年11月30日
python , tcp , udp
如何使用 ChatGPT 进行学术润色？你需要这些指令
2024年12月01日
AI
最新 Python 调用 OpenAi 详细教程实现问答、图像合成、图像理解、语音合成、语音识别（详细教程）
2024年11月24日
python , AI
ChatGPT 和 DALL·E 2 配合生成故事绘本
2024年12月01日
python , AI
omegaconf，一个超强的 Python 库！
2024年11月24日
python
【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测
2024年12月01日
python , AI
［超级详细］如何在深度学习训练模型过程中使用 GPU 加速
2024年11月29日
python , AI , 机器学习
Python 物理引擎pymunk最完整教程
2024年11月27日
python
MediaPipe 人体姿态与手指关键点检测教程
2024年11月27日
python
深入了解 Taipy：Python 打造 Web 应用的全面教程
2024年11月26日
python
基于Transformer的时间序列预测模型
2024年11月25日
python , Matplotlib , 机器学习
Python在金融大数据分析中的AI应用（股价分析、量化交易）实战
2024年11月25日
python , Matplotlib , 机器学习
AIGC Gradio系列学习教程之Components
2024年12月01日
python , AI
Python3 `asyncio` — 异步 I/O，事件循环和并发工具
2024年11月30日
python
llama-factory SFT系列教程：大模型在自定义数据集 LoRA 训练与部署
2024年12月01日
python , AI , 机器学习
Python 多线程和多进程用法
2024年11月24日
python
Python socket详解，全网最全教程
2024年11月27日
python , http , websocket
python之plot()和subplot()画图
2024年11月26日
python , Matplotlib
理解 DALL·E 2、Stable Diffusion 和 Midjourney 工作原理
2024年12月01日
python , AI , 机器学习
Copyright © 2026 Tech Blog
All Right Reserved | 京ICP备19053165号