【网络爬虫篇】使用Scrapy爬取去哪儿网游记数据并保存（超详细）

以下是使用Scrapy框架爬取去哪儿网(qunar.com)特定游戏记录的示例代码。请注意，实际爬取数据时需遵守目标网站的robots.txt协议，并尊重网站的爬取政策。

import scrapy
 
class QunarGameRecordSpider(scrapy.Spider):
    name = 'qunar_games'
    allowed_domains = ['qunar.com']
    start_urls = ['http://www.qunar.com/']  # 这里需要修改为正确的起始URL
 
    def parse(self, response):
        # 这里需要修改选择器以匹配游戏记录的具体位置
        game_records = response.css('.game-record')  # 示例选择器，请根据实际情况修改
        for record in game_records:
            # 提取游戏名称、时间等信息
            game_name = record.css('.game-name::text').extract_first()
            play_time = record.css('.play-time::text').extract_first()
            location = record.css('.location::text').extract_first()
            
            # 将数据存储为一个字典
            yield {
                'game_name': game_name,
                'play_time': play_time,
                'location': location,
                # 如果有更多字段，继续添加
            }
            # 以下为分页等其他逻辑处理，视具体情况添加
            next_page_url = response.css('.next-page::attr(href)').extract_first()
            if next_page_url is not None:
                yield response.follow(next_page_url, self.parse)
 

这段代码定义了一个名为QunarGameRecordSpider的爬虫，它从去哪儿网的首页开始爬取游戏记录。在parse方法中，它使用CSS选择器提取游戏记录的数据，并将提取的数据存储为一个字典。这只是一个基本的例子，实际使用时需要根据去哪儿网站的具体HTML结构来编写选择器，并处理分页等逻辑。