Python实战：构建一个自动化的MOOC课程评论爬虫

import requests
from bs4 import BeautifulSoup
import pandas as pd
 
# 定义一个函数来获取MOOC课程的评论
def get_course_reviews(course_url):
    # 发送HTTP请求获取网页内容
    response = requests.get(course_url)
    # 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    # 提取评论信息
    reviews = soup.find_all('div', class_='review-content')
    # 返回评论列表
    return [review.text for review in reviews]
 
# 定义MOOC课程URL
course_url = 'https://example.com/course'
 
# 获取所有评论
reviews = get_course_reviews(course_url)
 
# 将评论保存到CSV文件
df = pd.DataFrame(reviews, columns=['Comments'])
df.to_csv('course_reviews.csv', index=False)
 
# 打印成功消息
print("所有评论已保存到 'course_reviews.csv' 文件。")

这段代码展示了如何使用Python的requests库、BeautifulSoup库和pandas库来爬取一个MOOC课程的所有评论，并将其保存到CSV文件中。代码简洁明了，注重实践，适合作为Python爬虫入门学习的例子。