【Python】爬虫实战02：电影市场票房情况分析与可视化

import requests
from bs4 import BeautifulSoup
import pandas as pd
 
# 获取网页内容
def get_html(url):
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
        response = requests.get(url, headers=headers)
        return response.text
    except requests.RequestException as e:
        print(e)
        return None
 
# 解析网页数据
def parse_data(html):
    soup = BeautifulSoup(html, 'lxml')
    data = []
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            data.append({
                '排名': tds[0].text,
                '电影名': tds[1].text,
                '票房': tds[2].text,
                '上映天数': tds[3].text,
                '上映场次': tds[4].text,
                '人均票房': tds[5].text
            })
    return data
 
# 保存数据到CSV
def save_to_csv(data, filename):
    df = pd.DataFrame(data)
    df.to_csv(filename, index=False, encoding='utf-8-sig')
 
# 主函数
def main():
    url = 'http://www.bj-m.com/boxoffice/bom/202101/ranking.html'
    html = get_html(url)
    data = parse_data(html)
    save_to_csv(data, '2021年1月票房排行.csv')
 
if __name__ == '__main__':
    main()

这段代码实现了从网页爬取数据、解析数据、保存数据到CSV文件的完整流程。使用了requests库获取网页内容，BeautifulSoup进行网页解析，pandas处理和保存数据。代码简洁，注重逻辑性和实用性，是学习爬虫技术的一个很好的示例。