网络爬虫——初识爬虫框架Scrapy

import scrapy
 
class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/pages.html']
 
    def parse(self, response):
        # 提取页面中的所有链接并进一步爬取
        for href in response.css('a::attr(href)').getall():
            yield response.follow(href, self.parse)
 
        # 提取页面中的特定数据
        for item in response.css('div.item'):
            yield {
                'title': item.css('a.title::text').get(),
                'link': item.css('a::attr(href)').get(),
                'desc': item.css('p.desc::text').get(),
            }

这个简单的爬虫示例定义了一个名为myspider的爬虫，它将从example.com域名中的起始URL http://example.com/pages.html开始爬取。在parse方法中，它提取了页面中的所有链接，并递归地对每个链接进行爬取，同时提取页面上的数据项，包括标题、链接和描述。这个例子展示了Scrapy的基本用法，是学习Scrapy的一个很好的起点。