Python中的爬虫实战：猫眼电影爬虫

以下是一个简化的示例代码，展示了如何使用Python的requests和BeautifulSoup库来爬取猫眼电影TOP100的电影名和评分。

import requests
from bs4 import BeautifulSoup
 
# 请求URL
url = 'https://maoyan.com/board/4'
 
# 发送HTTP请求
response = requests.get(url)
 
# 确保请求成功，并获取页面内容
if response.status_code == 200:
    # 使用BeautifulSoup解析页面
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 找到包含电影信息的表格
    movie_table = soup.find('table', class_='movie-list')
    
    # 遍历电影信息，提取电影名和评分
    for row in movie_table.find_all('tr')[1:]:
        movie_name = row.find('a', class_='name').text
        movie_score = row.find('p', class_='score').text
        print(f'电影名称: {movie_name}, 评分: {movie_score}')
 
# 出现错误时打印错误信息
else:
    print('请求失败，状态码:', response.status_code)

这段代码首先导入了requests和BeautifulSoup库，然后向指定的URL发送HTTP请求，并使用BeautifulSoup解析返回的页面。代码中提取了电影名和评分，并打印输出。注意，实际爬取数据时应遵守网站的robots.txt规则，并尽量减少对服务器的请求频率，以免对网站服务造成影响。