Day18—使用Scrapy框架快速开发爬虫

import scrapy
 
class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/pages.html']
 
    def parse(self, response):
        # 提取页面中的所有链接并进一步跟踪
        for href in response.css('a::attr(href)').getall():
            yield response.follow(href, self.parse)
 
        # 提取页面中的特定数据项
        for item in response.css('div.item'):
            yield {
                'title': item.css('a.title::text').get(),
                'link': item.css('a::attr(href)').get(),
                'desc': item.css('p.desc::text').get(),
            }

这个简单的Scrapy爬虫示例展示了如何定义一个Spider，包括名称、允许爬取的域名、起始URL和解析响应的方法。在解析方法中，我们提取页面中的所有链接，并使用response.follow方法进一步跟踪这些链接。此外，我们还提取了特定的数据项，如每个项的标题、链接和描述。这个简单的例子展示了Scrapy的基本用法，非常适合初学者学习和实践。