Python 爬虫 简单介绍

Python爬虫是一种自动提取网页数据的程序。以下是一个简单的Python爬虫示例，使用requests库获取网页内容，并使用BeautifulSoup库解析HTML。

首先，需要安装必要的库：

pip install requests beautifulsoup4

以下是一个简单的Python爬虫示例，用于抓取一个网页上的所有链接：

import requests
from bs4 import BeautifulSoup
 
# 目标网页
url = 'https://example.com'
 
# 发送HTTP请求
response = requests.get(url)
 
# 确保网页请求成功
if response.status_code == 200:
    # 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 找到所有的<a>标签，并提取href属性
    for link in soup.find_all('a'):
        print(link.get('href'))
 
else:
    print(f"Failed to retrieve the webpage: {response.status_code}")

这个简单的爬虫示例仅用于教学目的，实际的爬虫可能需要处理更复杂的情况，如处理JavaScript动态渲染的内容、处理登录认证、遵守robots.txt协议、限制爬取频率等。