爬虫练习之-requests爬取网页并持久化保存

import requests
from bs4 import BeautifulSoup
import os
 
# 定义一个函数来下载和解析网页
def download_and_parse(url, filename):
    # 使用requests下载网页内容
    response = requests.get(url)
    # 检查请求是否成功
    if response.status_code == 200:
        # 解析网页内容
        soup = BeautifulSoup(response.text, 'html.parser')
        # 返回解析后的内容
        return soup
    else:
        return None
 
# 定义一个函数来保存解析后的内容到文件
def save_to_file(content, filename):
    # 创建一个文件对象来写入内容
    with open(filename, 'w', encoding='utf-8') as file:
        file.write(str(content))
 
# 定义一个函数来创建目录，如果目录不存在的话
def create_directory_if_not_exists(directory):
    if not os.path.exists(directory):
        os.makedirs(directory)
 
# 定义目标网页URL
url = 'https://example.com'
# 定义要保存内容的目录和文件名
directory = 'downloaded_webpages'
filename = 'index.html'
# 创建目录
create_directory_if_not_exists(directory)
# 完整的文件路径
filepath = os.path.join(directory, filename)
# 下载和解析网页
parsed_content = download_and_parse(url, filepath)
# 保存内容到文件
if parsed_content is not None:
    save_to_file(parsed_content.prettify(), filepath)
    print(f'网页内容已经被下载和保存到 {filepath}')
else:
    print('下载网页失败')

这段代码首先定义了一个函数download_and_parse来使用requests库下载网页内容，并使用BeautifulSoup进行解析。然后定义了一个函数save_to_file来将解析后的内容保存到文件。接着定义了一个目标URL，并使用这些函数来下载和保存网页内容。最后，如果网页内容成功下载，它会以格式化（prettified）的形式输出到文件。