文本分析-使用Python做词频统计分析

# 导入Python内置的文本处理工具
import re
 
# 定义一个函数用于去除文本中的非必要字符
def clean_text(text):
    # 使用正则表达式去除非字母数字字符
    text = re.sub(r'\W+', ' ', text)
    # 转换为小写
    text = text.lower()
    return text
 
# 定义主函数进行词频统计
def perform_word_count(text):
    # 清洗文本
    cleaned_text = clean_text(text)
    # 使用split方法将文本分割成单词列表
    words = cleaned_text.split()
    # 使用collections模块的Counter类进行词频统计
    from collections import Counter
    word_counts = Counter(words)
    return word_counts
 
# 示例文本
sample_text = "This is a sample text for word count analysis. Let's count some words!"
 
# 执行词频统计
word_counts = perform_word_count(sample_text)
 
# 打印统计结果
print(word_counts)

这段代码首先定义了一个清洗文本的函数，然后定义了主函数进行词频统计。在主函数中，它首先对文本进行清洗，然后使用split()方法将文本分割成单词列表，最后使用collections.Counter类来计算每个单词的出现次数。最后，它打印出了统计结果。这个过程展示了如何在Python中进行基本的文本处理和分析。