2024年Python最全Python爬虫 小白入门笔记汇总_爬虫小白

这是一个Python爬虫小白入门的例子，展示了如何使用requests和BeautifulSoup库来下载网页内容并解析HTML。

import requests
from bs4 import BeautifulSoup
 
# 目标网页
url = 'https://example.com'
 
# 发送HTTP请求
response = requests.get(url)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取网页标题
    title = soup.title.text
    print(f'网页标题: {title}')
    
    # 提取所有段落文本
    paragraphs = soup.find_all('p')
    for p in paragraphs:
        print(p.text)
else:
    print('网页下载失败')

这段代码演示了如何使用requests库获取网页内容，并使用BeautifulSoup进行HTML内容的解析。代码首先导入所需的模块，然后发送一个GET请求到指定的URL。如果请求成功，它会解析HTML内容，提取标题和段落文本，并打印输出。如果请求失败，它会打印错误消息。这是学习Python爬虫的一个基本入门示例。