scrapy框架核心知识Spider,Middleware,Item Pipeline,scrapy项目创建与启动,Scrapy-redis与分布式

Scrapy是一个为了爬取网站数据，提取结构化数据而编写的应用框架。 它可以应用在各种情况，如数据挖掘、监测和自动化测试。

1. Spider（爬虫）

爬虫是用户自定义的类，它负责从特定的网站提取数据。

import scrapy
 
class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']
 
    def parse(self, response):
        # 提取数据的逻辑
        pass

2. Middleware（中间件）

Scrapy中间件是一个工具，你可以用它来自定义Scrapy的行为。 你可以编写自己的中间件来修改请求，添加自定义的日志系统，或者在发送请求之前做一些处理。

class MyCustomMiddleware(object):
    @classmethod
    def from_crawler(cls, crawler):
        # 初始化中间件的逻辑
        return cls()
 
    def process_request(self, request, spider):
        # 修改请求的逻辑
        pass
 
    def process_response(self, request, response, spider):
        # 修改响应的逻辑
        return response

3. Item Pipeline（管道）

管道是Scrapy的一个组件，它负责处理爬虫提取的数据。 你可以在管道中清理数据，验证数据，然后将数据存储到数据库。

import json
 
class JsonPipeline(object):
    def open_spider(self, spider):
        # 爬虫开始时的逻辑
        self.file = open('items.json', 'w')
 
    def process_item(self, item, spider):
        # 处理提取的数据
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item
 
    def close_spider(self, spider):
        # 爬虫结束时的逻辑
        self.file.close()

4. 创建Scrapy项目与启动

创建一个新的Scrapy项目：

scrapy startproject myproject

进入项目目录，创建一个新的爬虫：

cd myproject
scrapy genspider myspider example.com

运行爬虫：

scrapy crawl myspider

以上是Scrapy框架的基本概念，实际使用中，你可能需要根据具体需求编写更复杂的爬虫和管道逻辑。