Scrapy结合MongoDB源码重构，打磨完美指纹存储机制！

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy_mongodb_demo.items import ScrapyMongodbDemoItem
 
class FingerprintSpider(CrawlSpider):
    name = 'fingerprint'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/']
    
    rules = (
        Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
    )
    
    def parse_item(self, response):
        item = ScrapyMongodbDemoItem()
        # 假设response.request.headers是一个字典，包含了请求的所有头部信息
        item['fingerprint'] = self.generate_fingerprint(response.request.headers)
        return item
    
    @staticmethod
    def generate_fingerprint(headers):
        # 这里是一个示例方法，用于生成请求头部的指纹。实际情况下，需要根据具体需求设计指纹生成方法。
        # 这里的headers['User-Agent']是假设User-Agent是用于生成指纹的一部分
        return headers.get('User-Agent', '')

这个示例展示了如何在Scrapy爬虫中使用指纹机制来标识爬取过程中的每个独特请求。这里的generate_fingerprint方法是一个示例，它假设User-Agent头部是用于生成请求指纹的一部分。在实际应用中，指纹应该包括请求中的多种参数，以确保其唯一性和可区分性。