Pyhon网络爬虫学习笔记—抓取本地网页

import requests
 
# 将网页内容抓取到本地
def save_html_to_local(url, filename):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            with open(filename, 'w', encoding='utf-8') as file:
                file.write(response.text)
            print(f"{url} 已保存到 {filename}")
        else:
            print(f"错误: 无法获取网页，状态码 {response.status_code}")
    except requests.exceptions.RequestException:
        print(f"错误: 请求出错，URL = {url}")
 
# 示例用法
if __name__ == '__main__':
    url = 'http://example.com'  # 替换为你想抓取的网页地址
    filename = 'example.html'  # 保存到本地的文件名
    save_html_to_local(url, filename)

这段代码使用了requests库来抓取网页内容，并将其保存到本地文件。函数save_html_to_local接受网页的URL和要保存的文件名作为参数，然后尝试抓取网页内容并写入到本地文件。如果网页抓取成功，它会打印一条消息，如果失败，会打印错误信息。在if __name__ == '__main__':块中，我们提供了如何使用这个函数的示例。