以下是一个简单的Scrapy爬虫示例，用于抓取一个示例网站上的书籍信息。
首先，创建一个新的Scrapy项目：
scrapy startproject bookscrawler
然后，进入项目目录，创建一个爬虫：
cd bookscrawler
scrapy genspider books examplebooks.com
接下来，编辑爬虫文件 bookscrawler/spiders/books.py 来提取书籍信息：
import scrapy
class BooksSpider(scrapy.Spider):
name = 'books'
allowed_domains = ['examplebooks.com']
start_urls = ['http://examplebooks.com/books']
def parse(self, response):
for book in response.css('div.book_description'):
yield {
'title': book.css('h2::text').extract_first(),
'author': book.css('p.author::text').extract_first(),
'price': book.css('p.price::text').extract_first(),
}
next_page_url = response.css('a.next::attr(href)').extract_first
if next_page_url:
yield response.follow(next_page_url, self.parse)
最后，设置管道以保存数据（可选，取决于需求）：
class BookscrawlerPipeline:
def __init__(self):
self.file = open('books.csv', 'w')
self.file.write('title,author,price\n')
def process_item(self, item, spider):
line = f"{item['title']},{item['author']},{item['price']}\n"
self.file.write(line)
return item
def close_spider(self, spider):
self.file.close()
在项目的 settings.py 文件中启用管道：
ITEM_PIPELINES = {
'bookscrawler.pipelines.BookscrawlerPipeline': 300,
}
现在，运行爬虫：
scrapy crawl books
这个爬虫会抓取 examplebooks.com 上的书籍信息，并将它们保存到 books.csv 文件中。这只是一个简单的例子，实际应用中您需要根据目标网站的结构调整CSS选择器和提取的字段。