python的简单爬取

下面是一个使用Python的requests和BeautifulSoup库进行简单网页爬取的示例代码：

import requests
from bs4 import BeautifulSoup
 
# 目标网页URL
url = 'http://example.com'
 
# 发送HTTP请求
response = requests.get(url)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取网页标题
    title = soup.title.text
    print(f'网页标题: {title}')
    
    # 提取所有段落文本
    paragraphs = soup.find_all('p')
    for p in paragraphs:
        print(p.text)
else:
    print('网页请求失败')

这段代码首先导入了requests和BeautifulSoup库。然后，它向指定的URL发送一个HTTP GET请求，并检查响应状态码以确认请求成功。如果成功，它使用BeautifulSoup解析HTML内容，并提取网页标题和所有段落文本。最后，它打印这些信息。这是一个简单的网页爬取示例，适用于学习目的。