使用Python编写自动化爬虫

以下是一个简单的Python爬虫示例，使用requests库获取网页内容，并使用BeautifulSoup库解析网页。

首先，你需要安装必要的库（如果尚未安装的话）：

pip install requests beautifulsoup4

以下是一个简单的爬虫示例，它抓取一个网页并打印出网页的标题：

import requests
from bs4 import BeautifulSoup
 
# 目标网页URL
url = 'http://example.com'
 
# 发送HTTP请求
response = requests.get(url)
 
# 确保网页请求成功
if response.status_code == 200:
    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取标题
    title = soup.title.text
    
    # 打印标题
    print(title)
else:
    print(f'Failed to retrieve the webpage: Status Code {response.status_code}')

这个简单的爬虫只是一个入门示例，实际的网络爬虫可能需要处理更复杂的情况，例如处理分页、登录验证、用户代理伪装、异常处理、异步请求等。