Scrapy框架入门-爬虫

import scrapy
 
class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/pages.html']
 
    def parse(self, response):
        # 提取页面中的所有链接并进一步跟踪
        for href in response.css('a::attr(href)').getall():
            yield response.follow(href, self.parse)
 
        # 提取页面中的特定数据项
        for item in response.css('div.item'):
            yield {
                'title': item.css('a.title::text').get(),
                'link': item.css('a::attr(href)').get(),
                'desc': item.css('p.desc::text').get(),
            }

这个简单的Scrapy爬虫示例展示了如何定义一个Scrapy爬虫，包括名称、允许爬取的域名、起始URL和一个解析函数parse。解析函数会提取页面中的所有链接，并且对每个链接进行跟踪，递归地调用parse函数。同时，它还会提取特定的数据项，例如标题、链接和描述。这个例子是Scrapy爬虫的基本骨架，展示了如何开始构建自己的爬虫。