Python 爬虫基础入门知识

Python爬虫是一种自动提取网页数据的程序。以下是一个简单的Python爬虫示例，使用requests库获取网页内容，并使用BeautifulSoup库解析HTML。

首先，你需要安装必要的库：

pip install requests beautifulsoup4

以下是一个简单的Python爬虫示例，用于抓取一个网页上的所有链接：

import requests
from bs4 import BeautifulSoup
 
# 目标网页
url = 'https://example.com'
 
# 发送HTTP请求
response = requests.get(url)
 
# 确保网页请求成功
if response.status_code == 200:
    # 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 找到所有的a标签，即链接
    for link in soup.find_all('a'):
        # 获取链接的href属性
        href = link.get('href')
        if href is not None:
            print(href)
else:
    print(f"Error: {response.status_code}")

这个简单的爬虫示例仅用于教学目的，实际的爬虫可能需要处理更复杂的情况，如处理Ajax动态加载的内容、处理登录验证、遵守robots.txt协议、限制爬取频率等。