KU地址Python之爬虫小人生

这是一个使用Python编写的简单网络爬虫示例，用于抓取豆瓣电影TOP250的电影信息。

import requests
from bs4 import BeautifulSoup
import csv
 
# 设置User-Agent，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
 
# 保存数据的CSV文件
filename = 'douban_movies.csv'
 
# 开启CSV文件进行写入
with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['Title', 'Year', 'Rating', 'Votes', 'Director', 'Writer', 'Actors', 'Summary'])
 
    # 爬取的起始页面URL
    for page in range(0, 251, 25):
        print(f'正在抓取第 {page//25 + 1} 页...')
        url = f'https://movie.douban.com/top250?start={page}&filter='
 
        # 发送HTTP请求
        response = requests.get(url, headers=headers)
        response.raise_for_status()  # 检查请求是否成功
        soup = BeautifulSoup(response.text, 'html.parser')  # 解析网页
 
        # 查找每部电影的信息
        for movie in soup.find_all('li', class_='item'):
            # 电影标题
            title = movie.find('span', class_='title').text
 
            # 年份、评分、评分人数、导演、编剧、演员、简介
            info = movie.find_all('div', class_='info')
            year = info[0].find('div', class_='bd').find('span', class_='year').text
            rating = info[1].find('div', class_='bd').find('strong').text
            votes = info[1].find('div', class_='bd').find('span', class_='votes').text
            director = info[2].find_all('p', 'text')[0].text.replace('导演: ', '')
            writer = info[2].find_all('p', 'text')[1].text.replace('编剧: ', '')
            actors = info[2].find('div', class_='star').text
            summary = movie.find('p', class_='quote').text
 
            # 将数据写入CSV文件
            writer.writerow([title, year, rating, votes, director, writer, actors, summary])
 
print('所有页面抓取完毕，数据已保存。')

这段代码首先设置了HTTP请求头中的User-Agent，以模拟浏览器访问，避免了反爬虫策略。然后，它使用requests库发送HTTP请求，并使用BeautifulSoup库解析网页。对于每一页的每一部电影，它提取并保存了标题、年份、评分、评分人数、导演、编剧、演员和简介。最后，它将这些数据写入了一个CSV文件中。这个例子展示了如何使用Python进行网络爬虫，并且是爬虫入门的一个很好的教学示例。