挑战杯 python 爬虫与协同过滤的新闻推荐系统

import requests
from bs4 import BeautifulSoup
import re
import numpy as np
from gensim.models import Word2Vec
from gensim.corpora import Dictionary
 
# 示例函数：从给定URL获取新闻内容
def get_news_content(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    return None
 
# 示例函数：使用BeautifulSoup解析新闻内容，提取标题和正文
def parse_news(news_content):
    soup = BeautifulSoup(news_content, 'html.parser')
    title = soup.find('title').text
    body = soup.find('div', class_='article-body').text
    return title, body
 
# 示例函数：使用正则表达式清洗新闻正文，去除非文本信息
def clean_news_body(body):
    # 这里只是示例，需要根据实际HTML结构调整正则表达式
    cleaned_body = re.sub(r'<[^<]+?>', '', body)
    return cleaned_body
 
# 示例函数：使用Word2Vec训练模型，并对新闻正文进行向量表示
def train_word2vec_model(clean_bodies):
    # 初始化Word2Vec模型并训练
    model = Word2Vec(clean_bodies, size=100, window=5, min_count=1, workers=4)
    return model
 
# 示例函数：使用训练好的Word2Vec模型获取新闻向量表示
def get_news_vector(model, title, body):
    title_vector = np.mean([model[word] for word in title.split() if word in model.wv.vocab], axis=0)
    body_vector = np.mean([model[word] for word in body.split() if word in model.wv.vocab], axis=0)
    return title_vector, body_vector
 
# 示例函数：计算新闻向量的相似度
def calculate_similarity(vector1, vector2):
    return np.dot(vector1, vector2) / (np.linalg.norm(vector1) * np.linalg.norm(vector2))
 
# 示例函数：根据新闻向量相似度进行推荐新闻
def recommend_news(news_vectors, new_vector):
    similarities = [calculate_similarity(vector, new_vector) for vector in news_vectors]
    recommended_indices = np.argpartition(similarities, -3)[-3:]
    return [similarities[index] for index in recommended_indices]
 
# 示例用法
url = 'http://example.com/news'
news_content = get_news_content(url)
title, body = parse_news(news_content)
clean_body = clean_news_body(body)
clean_bodies = [clean_body]  # 假设这里有多篇经过清洗的新闻正文
model = train_word2vec_model(clean_bodies)
title_vector, body_vector = get_news_vector(model, title, body)
similarities = recommend_news(clean_bodies, body_vector)
 
# 输出新闻向量相似度和推荐结果
print(similarities)

这个代码示例提供了从给定URL获取新闻内容、解析新闻、清洗正文、使用Word2Vec训练模型、获取新闻向量以及计算和推荐新闻的基本方法。需要注意的是，这个示例假设所有新闻正文已经清洗并准备好用于向量生成。在实际应用中，需要对新闻内容进行更深入的处理，包括去除广告、标签、特殊字符等，以提高文本处理的质量和推荐的准确性。