【R语言爬虫实战】——爬取某影评并建立主题模型（附完整代码

# 导入必要的库
library(rvest)
library(jiebaRD)
library(tm)
library(wordcloud2)
library(SnowballC)
 
# 设置URL
url <- "https://movie.douban.com/subject/26363255/comments?status=P"
 
# 使用rvest库获取网页数据
web <- read_html(url, user_agent = 'Mozilla/5.0')
 
# 提取影评内容
comments <- web %>% html_nodes('.comment .short') %>% html_text()
 
# 将提取的影评合并为一个字符串
comments_str <- paste(comments, collapse = "\n")
 
# 使用jiebaRD进行中文分词
segment <- segmentCN(comments_str, use_dict = DICT_DEFAULT)
 
# 建立词频向量
vector <- VectorSource(segment$source)
vector <- Corpus(vector)
vector <- tm_map(vector, toSpace, preserve_intra_word_dash = TRUE)
vector <- tm_map(vector, removePunctuation)
vector <- tm_map(vector, removeNumbers)
vector <- tm_map(vector, stemDocument)
vector <- tm_map(vector, PlainTextDocument)
tdm <- DocumentTermMatrix(vector)
 
# 生成词云图
wordcloud2(tdm, size = 1.5, min_size = 0.5, color = 'skyblue', background_color = 'white')

这段代码使用了rvest库来获取网页数据，并使用jiebaRD进行了中文分词，然后建立了词频向量，最后生成了词云图。这个流程是爬取网页数据、文本处理和数据可视化的完整示例，对于学习爬虫和文本处理的开发者有很好的教育价值。