最全Python爬虫实战 爬取网络中的小说_手机怎么爬虫晋江做txt，英语面试突击

import requests
from bs4 import BeautifulSoup
import re
 
# 定义函数来下载和保存小说内容
def download_novel(url, title):
    response = requests.get(url)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'lxml')
        content = soup.find('div', class_='content').text
        content = re.sub(r'\s+', '\n\n', content)  # 将连续空格替换为换行符
        with open(f'{title}.txt', 'w', encoding='utf-8') as file:
            file.write(content)
 
# 主函数，用于控制流程
def main():
    url = 'https://www.zlibrary.org/works/2012351741104177616.html'  # 小说的URL
    title = 'A Rising Tide'  # 小说的标题
    download_novel(url, title)
 
if __name__ == '__main__':
    main()

这段代码使用了requests库来发送HTTP请求，使用BeautifulSoup库来解析HTML，使用正则表达式re来处理文本数据。代码首先定义了一个函数download_novel，它接受小说的URL和标题作为参数，然后发送请求，解析页面，提取小说内容，并将其保存为.txt文件。主函数main控制了程序的流程，调用download_novel函数来执行下载和保存操作。