【爬虫实战】-爬取微博之夜盛典评论，爬取了1.7w条数据

由于原代码已经提供了一个很好的实现，我们可以直接使用原代码来解决问题。但是，为了保证代码的完整性和可读性，我们可以添加必要的注释和错误处理。

以下是一个简化的代码实例，包含了必要的注释和错误处理：

import requests
from lxml import etree
import time
import random
import csv
 
# 设置请求头信息，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
 
# 初始URL
url = 'https://weibo.com/p/100megastar/weibo?is_search=0&visible=0&is_tag=0&profile_ftype=1&page={}'
 
# 创建CSV文件并写入表头
with open('weibo_comments.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['ID', 'Content', 'Like Counts', 'Time'])
 
# 设置最大页码
max_page = 80  # 假设总共有80页
 
# 循环遍历页码
for page in range(1, max_page + 1):
    print(f'正在抓取第{page}页的数据...')
    try:
        # 对每一页进行请求
        response = requests.get(url.format(page), headers=headers)
        response.raise_for_status()  # 检查请求是否成功
        time.sleep(random.uniform(0.5, 1.5))  # 添加随机延时，避免被服务器封禁
        
        # 使用lxml解析HTML内容
        html = etree.HTML(response.text)
        
        # XPath表达式用于定位评论数据
        comments = html.xpath('//div[@class="cc"]')
        
        for comment in comments:
            try:
                # 提取评论ID
                id_ = comment.xpath('.//@usercard_uid')[0]
                # 提取评论内容
                content = comment.xpath('.//span[@class="ctt"]/text()')[0]
                # 提取获得的赞成数
                like_counts = comment.xpath('.//span[@class="ccmt"]/span/text()')[0]
                # 提取评论发表时间
                time_ = comment.xpath('.//span[@class="ct"]/text()')[0]
                
                # 将数据写入CSV文件
                with open('weibo_comments.csv', 'a', newline='', encoding='utf-8') as csvfile:
                    writer = csv.writer(csvfile)
                    writer.writerow([id_, content, like_counts, time_])
            except Exception as e:
                print(f'Error processing comment: {e}')
    except Exception as e:
        print(f'Error processing page {page}: {e}')
 
print('所有页面抓取完成，评论数据已保存到weibo_comments.csv文件中。')

这段代码添加了必要的异常处理，以确保在遇到网络请求失败、解析错误或其他意外情况时代码能够继续执行，并记录下错误信息。同时，添加了随机延时来避免被微博服务器封禁。最后，将数据写入CSV文件时，使用了with语句来确保文件正确关闭。