【爬虫】2024中国大学排行榜爬取

以下是一个使用Python的requests和BeautifulSoup库来爬取2024年中国大学排行榜数据的示例代码。请注意，在实际应用中应遵守网站的robots.txt规则，并尽量减少对网站的请求频率，以免造成不必要的压力。

import requests
from bs4 import BeautifulSoup
import pandas as pd
 
def get_data_from_url(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    return None
 
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    rankings = soup.find_all('tr', class_='odd')
    data = []
    for ranking in rankings:
        data.append([
            ranking.find('td', class_='first').text.strip(),
            ranking.find('td', class_='schoolName').text.strip(),
            ranking.find('td', class_='score').text.strip(),
            ranking.find('td', class_='quality').text.strip(),
            ranking.find('td', class_='teacher').text.strip(),
            ranking.find('td', class_='student').text.strip()
        ])
    return data
 
def save_to_csv(data, filename):
    df = pd.DataFrame(data, columns=['排名', '学校名称', '总分', '质量', '教师数', '学生数'])
    df.to_csv(filename, index=False, encoding='utf-8')
 
def main():
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2024.html'
    html = get_data_from_url(url)
    if html:
        parsed_data = parse_html(html)
        save_to_csv(parsed_data, 'ChinaUniversityRanking2024.csv')
 
if __name__ == '__main__':
    main()

这段代码首先定义了一个函数get_data_from_url来获取网页内容，另一个函数parse_html用于解析网页并提取数据，函数save_to_csv将数据保存到CSV文件中。主函数main则是这些函数的组合使用，实现了整个爬虫的流程。在实际运行中，请确保你有合法权限来获取和处理网页数据，并且应对可能出现的网络请求异常做出相应的错误处理。