python爬虫 -爬取html格式数据（微博热搜）

以下是一个简单的Python爬虫示例，用于爬取微博热搜数据，并保存为HTML格式文件：

import requests
from bs4 import BeautifulSoup
 
# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
 
# 微博热搜索页面URL
url = 'https://s.weibo.com/top/summary'
 
# 发送GET请求
response = requests.get(url, headers=headers)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析响应内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 找到包含热搜数据的HTML元素
    hot_search_items = soup.find_all('div', class_='td')
    
    # 创建一个空的字符串用于存储HTML内容
    html_content = ''
    
    # 遍历所有热搜数据，构建HTML格式
    for item in hot_search_items:
        # 提取热搜词汇和指定内容
        hot_search_content = item.find('a').text
        hot_search_href = item.find('a')['href']
        hot_search_count = item.find_all('span')[1].text.strip()
        
        # 构建HTML字符串
        html_content += f'<div><a href="{hot_search_href}">{hot_search_content}</a> {hot_search_count}</div>'
    
    # 保存HTML内容到文件
    with open('weibo_hot_search.html', 'w', encoding='utf-8') as file:
        file.write(html_content)
        print('HTML文件已保存。')
else:
    print('请求失败')

这段代码首先设置了请求头，以模拟浏览器访问，然后发送GET请求到微博热搜页面。成功获取页面内容后，使用BeautifulSoup解析页面，提取热搜数据，并构建HTML格式。最后，将这些数据保存到一个HTML文件中。这个过程展示了如何使用Python爬取网页数据并进行简单的数据处理，是学习网络爬虫的一个基本入门示例。