通过爬虫爬取豆瓣top250电影信息

以下是一个使用Python的requests和beautifulsoup库爬取豆瓣Top250电影信息的示例代码：

import requests
from bs4 import BeautifulSoup
import pandas as pd
 
# 定义一个函数来获取页面的HTML内容
def get_html(url):
    try:
        response = requests.get(url)
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"Error: {e}")
        return None
 
# 定义一个函数来解析HTML内容并提取电影信息
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    movie_list = soup.find_all('div', class_='info')
    movies = []
    for movie in movie_list:
        rank = movie.find('div', class_='board-index').text.strip()
        name = movie.find('div', class_='name').text.strip()
        score = movie.find('span', class_='rating_num').text
        score_num = float(score) if score else None
        evaluate = movie.find('div', class_='star').text.strip()
        info = movie.find('div', class_='bd').text.strip()
        movies.append({
            '排名': rank,
            '电影名': name,
            '评分': score_num,
            '评价人数': evaluate,
            '信息': info
        })
    return movies
 
# 定义一个函数来保存提取的数据到CSV文件
def save_to_csv(movies, filename):
    df = pd.DataFrame(movies)
    df.to_csv(filename, index=False, encoding='utf-8')
 
# 主程序
def main():
    base_url = 'https://movie.douban.com/top250?start='
    urls = [base_url + str(i * 25) for i in range(10)]  # 假设总共有10页
    movies = []
    for url in urls:
        html = get_html(url)
        if html:
            parsed_movies = parse_html(html)
            movies.extend(parsed_movies)
    save_to_csv(movies, 'douban_top250.csv')
 
if __name__ == '__main__':
    main()

这段代码首先定义了获取HTML内容和解析HTML内容的函数，然后定义了将结果保存到CSV文件的函数。主程序中，我们创建了一个URL列表，包含了所有分页的顶部250部电影的页面。然后，我们遍历这些URL，获取HTML内容，解析并提取电影信息，最后将所有信息保存到CSV文件中。

注意：由于豆瓣网站可能会更新其页面结构或实施反爬机制，因此你可能需要定期更新爬虫代码以确保其有效性。此外，在爬取数据时应遵守豆瓣的使用条款，避免对服务器造成过大压力，并确保爬取的数据仅用于合法目的。