【python】网络爬虫与信息提取--scrapy爬虫框架介绍

Scrapy是一个用Python编写的开源爬虫框架，用于抓取网站并提取结构化数据。以下是一个简单的Scrapy项目创建和运行的例子：

首先，安装Scrapy：

pip install scrapy

创建一个新的Scrapy项目：

scrapy startproject myspider

进入项目目录，创建一个爬虫：

cd myspider
scrapy genspider example example.com

这将会创建一个名为example的爬虫，用于抓取example.com。

编辑爬虫文件example.py以提取所需数据：

import scrapy
 
class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']
 
    def parse(self, response):
        # 提取数据的示例方法，需要根据实际网站结构进行修改
        for title in response.css('.product_title::text').getall():
            yield {'title': title}

运行爬虫：

scrapy crawl example

这将会启动爬虫，并将抓取的数据输出到控制台或者保存到指定文件。