2024年Python最全Python爬取微博（APP）榜单爬虫及数据可视化，面试ng

import requests
from lxml import etree
import pandas as pd
import matplotlib.pyplot as plt
 
# 请求微博APP榜单页面
def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
        'X-Requested-With': 'XMLHttpRequest'
    }
    response = requests.get(url, headers=headers)
    return response.text
 
# 解析页面数据
def parse_data(html):
    html = etree.HTML(html)
    rank_list = html.xpath('//ul[@class="rank_list_new"]/li')
    data = []
    for li in rank_list:
        rank = li.xpath('.//span[@class="num"]/text()')[0]
        name = li.xpath('.//a[@class="name"]/text()')[0]
        score = li.xpath('.//span[@class="score"]/text()')[0]
        data.append([rank, name, score])
    return data
 
# 保存数据到CSV文件
def save_to_csv(data, filename):
    df = pd.DataFrame(data, columns=['Rank', 'Name', 'Score'])
    df.to_csv(filename, index=False, encoding='utf-8-sig')
 
# 绘制榜单图
def draw_chart(data):
    plt.figure(figsize=(10, 6))
    plt.bar(range(len(data)), [item[2] for item in data], color='blue', width=0.8)
    plt.xticks(range(len(data)), [item[1] for item in data])
    plt.xlabel('Name')
    plt.ylabel('Score')
    plt.title('Microblogging App Ranking')
    plt.show()
 
# 主函数
def main():
    url = 'https://weibo.com/ajax/sidebar/wbmylist?uid=1774813004&page=1'
    html = get_html(url)
    data = parse_data(html)
    save_to_csv(data, 'weibo_ranking.csv')
    draw_chart(data)
 
if __name__ == '__main__':
    main()

这段代码实现了微博榜单的爬取，并将数据保存到CSV文件中，最后使用Matplotlib绘制了榜单图。需要注意的是，由于微博的反爬机制，该代码可能需要经常更新请求头部信息才能正常工作。此外，微博的接口可能会更改，因此爬取的URL和解析方法也可能需要更新。