自然语言处理NLP：文本预处理Text Pre-Processing

在自然语言处理（NLP）中，文本预处理是一个非常重要的步骤，它包括文本清理、分词、去除停用词等。以下是一个文本预处理的Python示例代码：

import re
import nltk
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
 
# 文本清洗：移除HTML标签、转换为小写、去除非printable字符
def clean_text(text):
    text = re.sub(r'<[^<]+?>', '', text)
    text = text.lower()
    text = re.sub(r"[^\w\s]", "", text)
    return text
 
# 分词
def tokenize_text(text):
    return nltk.word_tokenize(text)
 
# 去除停用词
def remove_stopwords(tokens):
    stop_words = set(stopwords.words('english'))
    return [token for token in tokens if token not in stop_words]
 
# 词干提取
def stem_tokens(tokens):
    stemmer = PorterStemmer()
    return [stemmer.stem(token) for token in tokens]
 
# 示例文本
text = "This is a sample text for NLP pre-processing <script>alert('hacked!');</script>"
 
# 应用所有预处理步骤
cleaned_text = clean_text(text)
tokens = tokenize_text(cleaned_text)
stopfree_tokens = remove_stopwords(tokens)
stemmed_tokens = stem_tokens(stopfree_tokens)
 
# 输出结果
print(stemmed_tokens)

这段代码首先导入了必要的模块，定义了几个文本预处理的函数，并对一个示例文本进行了处理。它展示了如何清洗文本、分词、去除停用词以及进行词干提取。这是自然语言处理中一个非常基础但非常重要的步骤。