小说爬虫-01爬取总排行榜 分页翻页 Scrapy SQLite SQL 简单上手！

以下是一个简化的示例，展示如何使用Scrapy和SQLite存储爬取的数据。

import scrapy
import sqlite3
 
class RankSpider(scrapy.Spider):
    name = 'rank_spider'
    start_urls = ['http://www.example.com/ranking']
    db_path = 'ranking.db'
 
    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse)
 
    def parse(self, response):
        # 初始化数据库
        self.init_database()
        
        # 解析当前页面的排行榜数据
        ranks = response.css('div.ranking-item')
        for rank in ranks:
            name = rank.css('div.name::text').extract_first()
            score = rank.css('div.score::text').extract_first()
            self.insert_into_db(name, score)
        
        # 检查是否有下一页，并生成下一页的请求
        next_page_url = response.css('a.next-page::attr(href)').extract_first
        if next_page_url:
            yield response.follow(next_page_url, self.parse)
 
    def init_database(self):
        conn = sqlite3.connect(self.db_path)
        cursor = conn.cursor()
        cursor.execute('''CREATE TABLE IF NOT EXISTS ranking
                          (name text, score integer)''')
        conn.commit()
        conn.close()
 
    def insert_into_db(self, name, score):
        conn = sqlite3.connect(self.db_path)
        cursor = conn.cursor()
        cursor.execute('''INSERT INTO ranking (name, score)
                          VALUES (?, ?)''', (name, score))
        conn.commit()
        conn.close()

这个示例中，我们定义了一个名为RankSpider的爬虫，它会从一个网站的排行榜页面开始爬取数据。爬虫会解析当前页面上的每个排行榜项目，并将它们的名称和分数存储到SQLite数据库中。如果还有下一页，爬虫会生成下一页的请求，并且循环这个过程。这个例子展示了如何使用Scrapy进行简单的网页爬取，并使用SQLite作为数据存储。