Python实战：协程异步爬虫Scrapy-Redis
import scrapy
from scrapy_redis.spiders import RedisSpider
class MySpider(RedisSpider):
name = 'myspider'
redis_key = 'myspider:start_urls'
def parse(self, response):
# 解析响应内容，提取items或者进一步跟进链接
pass
def start_requests(self):
# 使用 scrapy-redis 提供的方法，从 redis 中读取起始 URL
for url in self.start_urls:
yield scrapy.Request(url=url, callback=self.parse)这个简单的示例展示了如何使用scrapy_redis库创建一个名为MySpider的RedisSpider。RedisSpider是scrapy_redis提供的一个Spider子类，它从Redis的列表中读取起始URLs。parse方法是一个回调函数，用于处理每个响应（response），提取数据或进一步的链接。start_requests方法则是从self.start_urls读取起始URLs，并使用Scrapy生成请求。
评论已关闭