使用Python进行网站爬虫和数据分析

import requests
from bs4 import BeautifulSoup
import pandas as pd
 
# 发送HTTP请求获取网页内容
def get_html(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        else:
            return None
    except requests.RequestException:
        return None
 
# 解析网页并提取数据
def parse_data(html):
    soup = BeautifulSoup(html, 'html.parser')
    data = []
    for row in soup.find('table', {'class': 'wikitable sortable'}).find_all('tr')[1:]:
        cells = row.find_all('td')
        data.append({
            'Rank': cells[0].text.strip(),
            'Cryptocurrency': cells[1].text.strip(),
            'Market Cap': cells[2].text.strip(),
            'Price': cells[3].text.strip(),
            'Change (24h)': cells[4].text.strip(),
            'Circulating Supply (Total)': cells[5].text.strip(),
        })
    return data
 
# 将数据写入CSV文件
def save_to_csv(data, filename):
    df = pd.DataFrame(data)
    df.to_csv(filename, index=False)
 
# 主函数
def main():
    url = 'https://coinmarketcap.com/'
    html = get_html(url)
    if html:
        parsed_data = parse_data(html)
        save_to_csv(parsed_data, 'cryptocurrencies.csv')
        print('数据已保存到cryptocurrencies.csv')
    else:
        print('网页内容获取失败')
 
if __name__ == '__main__':
    main()

这段代码首先导入了必要的模块，然后定义了获取网页内容、解析数据和保存数据到CSV文件的函数。主函数main()调用这些函数来完成整个爬虫和数据分析的流程。这个例子展示了如何使用Python进行简单的网站爬虫和数据分析，并且是学习网络爬虫和数据处理的一个很好的起点。