Python数据分析案例32——财经新闻爬虫和可视化分析

import requests
from bs4 import BeautifulSoup
import pandas as pd
import matplotlib.pyplot as plt
 
# 设置请求头，伪装为浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
 
def get_news(url):
    res = requests.get(url, headers=headers)  # 发送请求
    res.encoding = 'utf-8'  # 设置编码
    soup = BeautifulSoup(res.text, 'lxml')  # 解析页面
    return soup
 
def stock_news(soup):
    news_list = soup.select('.news-list > ul > li > a')  # 选择所有新闻标题和链接
    news_data = [[news.select_one('a').text.strip(), 'http://vip.stock.finance.sina.com.cn' + news.select_one('a')['href']] for news in news_list]
    return news_data
 
def get_news_content(news_url):
    res = requests.get(news_url, headers=headers)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'lxml')
    content = soup.select_one('#artibody').text.strip()  # 选择新闻正文
    return content
 
def stock_news_analysis(code, date):
    url = f'http://vip.stock.finance.sina.com.cn/q/go.php?pid=news&layout=news&stockid={code}&date={date}'
    soup = get_news(url)
    news_data = stock_news(soup)
    news_df = pd.DataFrame(news_data, columns=['title', 'url'])
    news_df['content'] = news_df['url'].apply(get_news_content)
    return news_df
 
# 示例：分析2021年1月22日的杭州股票新闻
analysis_df = stock_news_analysis('sh600000', '2021-01-22')
 
# 新闻正文情感分析（需要情感分析库，例如jieba等）
# 分析每条新闻的情感和，例如正面、中性、负面的比例
# 可视化正面情感的热力图等
 
plt.figure(figsize=(10, 10))
for i in range(5):  # 只展示前5条新闻的标题
    plt.text(0.5, 1 - (i * 0.1), analysis_df.loc[i, 'title'][:50], fontsize=8)
plt.axis('off')
plt.show()

这个代码实例展示了如何使用Python爬取指定股票代码和日期的财经新闻，并进行基本的新闻内容爬取和分析。实际应用中，可以根据需要对新闻内容进行情感分析、关键词提取等，以及可视化分析结果。