数据分析与实践-python-网络爬虫-Scrapy爬虫基础-网页数据解析-requests 爬虫-JSON基础

import scrapy

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/']

    def parse(self, response):
        # 提取页面中的所有链接并进一步爬取
        for href in response.css('a::attr(href)').getall():
            # 构造绝对URL，并进行请求，parse_page方法将在下一页的响应中被调用
            yield response.follow(href, callback=self.parse_page)

    def parse_page(self, response):
        # 提取页面中的有效数据
        for item in response.css('div.item'):
            yield {
                'title': item.css('a::text').get(),
                'link': item.css('a::attr(href)').get(),
                'desc': item.css('span::text').get(),
            }