'# 【Python】爬虫-基础入门
一、背景与问题
在当今数据驱动的互联网时代，爬虫技术已成为数据获取的重要手段。无论是企业数据采集、市场研究，还是个人学习资料整理，爬虫都扮演着关键角色。然而，爬虫技术并非简单的网络请求与数据提取，其背后涉及复杂的网络协议、反爬机制、性能优化以及法律合规等多维度问题。
在实际开发中，开发者常面临以下挑战：
- 如何在不触发反爬机制的前提下获取数据？
- 如何处理动态加载的网页内容？
- 如何优化爬虫性能以应对大规模数据采集？
- 如何避免因频繁请求导致IP被封禁？
本文将深入解析Python爬虫的核心原理，结合实际开发场景，提供可落地的解决方案。
二、基本原理
1. HTTP协议与网络请求
爬虫的本质是模拟浏览器向服务器发送HTTP请求，获取响应数据。HTTP协议包含请求方法（GET/POST）、请求头（Headers）、响应状态码（Status Code）等关键要素。
import requests
# 发送GET请求
response = requests.get('https://example.com')
print(response.status_code) # 输出HTTP状态码
print(response.text) # 输出响应内容关键点：
GET请求用于获取资源，POST用于提交数据- 状态码
200表示请求成功，403表示被服务器拒绝，503表示服务器暂时不可用 - 响应头（
response.headers）包含服务器返回的元信息
2. 数据解析机制
获取到原始HTML内容后，需要通过解析器提取有效数据。常见解析方式包括：
- 正则表达式（Regex）：适合结构简单的文本
- HTML解析库（BeautifulSoup、lxml）：适合结构复杂的HTML文档
- XPath：基于XML的路径语言，可高效定位节点
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('title').get_text()
print(title) # 提取网页标题3. 反爬虫机制
现代网站普遍采用反爬机制，包括：
- User-Agent检测：识别非浏览器请求
- 请求频率限制：通过IP或用户行为限制访问频率
- 动态渲染：通过JavaScript动态生成内容
- 验证码：对抗自动化工具
三、环境准备
确保安装以下依赖库：
pip install requests beautifulsoup4 lxml fake_useragentrequests：发送HTTP请求beautifulsoup4：解析HTML文档lxml：高性能的XML/HTML解析库fake_useragent：模拟浏览器User-Agent
四、核心实现
1. 基础爬虫（静态页面）
import requests
from bs4 import BeautifulSoup
def fetch_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4443.114 Safari/537.36'
}
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status() # 检查HTTP错误
return response.text
except requests.RequestException as e:
print(f"请求失败: {e}")
return None
def parse_page(html):
soup = BeautifulSoup(html, 'html.parser')
titles = [title.get_text() for title in soup.find_all('h1')]
return titles
if __name__ == '__main__':
url = 'https://example.com'
html = fetch_page(url)
if html:
titles = parse_page(html)
print("提取的标题:", titles)关键代码解释：
headers模拟浏览器请求，避免被识别为爬虫raise_for_status()检查HTTP错误码（如404/500）find_all('h1')使用CSS选择器提取所有标题元素
2. 动态内容处理（Selenium）
对于动态加载的网页（如JavaScript渲染内容），可使用Selenium：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def fetch_dynamic_page(url):
chrome_options = Options()
chrome_options.add_argument('--headless') # 无头模式
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')
driver = webdriver.Chrome(options=chrome_options)
try:
driver.get(url)
# 等待页面加载
driver.implicitly_wait(10)
return driver.page_source
finally:
driver.quit()
if __name__ == '__main__':
url = 'https://example.com'
html = fetch_dynamic_page(url)
print(html[:200]) # 输出前200字符注意事项：
- Selenium需要安装Chrome浏览器和chromedriver
- 无头模式（
--headless）可避免启动浏览器界面 - 使用
implicitly_wait设置隐式等待时间
3. 反爬虫应对方案
from fake_useragent import UserAgent
import random
def get_random_user_agent():
ua = UserAgent()
return ua.random
def fetch_with_proxies(url):
headers = {
'User-Agent': get_random_user_agent(),
'Accept-Language': 'en-US,en;q=0.9'
}
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080'
}
try:
response = requests.get(url, headers=headers, proxies=proxies, timeout=10)
response.raise_for_status()
return response.text
except requests.RequestException as e:
print(f"请求失败: {e}")
return None
if __name__ == '__main__':
url = 'https://example.com'
html = fetch_with_proxies(url)
print(html[:200])关键策略：
- 随机生成User-Agent防止被识别
- 使用代理IP池避免IP被封禁
- 设置合理的超时时间（
timeout=10）
五、完整案例
豆瓣电影Top250爬取
import requests
from bs4 import BeautifulSoup
import json
def get_movie_list():
base_url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4443.114 Safari/537.36'
}
movies = []
for page in range(0, 250, 25): # 获取10页数据
url = f"{base_url}?start={page}&filter="
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'html.parser')
# 提取电影信息
items = soup.find_all('div', class_='item')
for item in items:
title = item.find('span', class_='title').get_text(strip=True)
rating = item.find('span', class_='rating_num').get_text()
comment = item.find('div', class_='star') \
.find_all('span', class_='rating_num')[-1].get_text()
movies.append({
'title': title,
'rating': rating,
'comment': comment
})
except requests.RequestException as e:
print(f"第{page}页请求失败: {e}")
return movies
if __name__ == '__main__':
movies = get_movie_list()
print(json.dumps(movies, ensure_ascii=False, indent=2))完整流程：
- 使用分页参数获取多页数据（每页25条）
- 解析电影标题、评分和评论
- 将结果以JSON格式输出
性能优化：
- 使用多线程/异步处理请求（需引入
concurrent.futures） - 设置合理的请求间隔（如随机等待1-3秒）
- 使用缓存机制存储已获取数据
六、源码解析
1. HTTP请求流程
response = requests.get(url, headers=headers, timeout=10)headers包含User-Agent等关键信息timeout=10设置最大等待时间raise_for_status()检查HTTP错误码
2. HTML解析逻辑
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='item')find_all()方法支持CSS选择器语法class_='item'匹配带有item类的div元素- 使用
get_text(strip=True)提取文本内容
3. 反爬虫应对策略
headers = {
'User-Agent': get_random_user_agent()
}- 随机User-Agent可避免被识别为爬虫
- 增加
Accept-Language等头部字段模拟真实浏览器
七、进阶使用
1. 处理动态内容（Playwright）
对于复杂的动态网页，可使用Playwright：
from playwright.sync_api import sync_playwright
def fetch_playwright_page(url):
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto(url)
page.wait_for_load_state('networkidle')
return page.content()优势：
- 支持现代前端框架（React/Vue）
- 提供更精确的页面加载控制
2. 反爬虫策略比较
| 方案 | 优点 | 缺点 |
|---|---|---|
| User-Agent | 简单易行 | 易被识别 |
| 代理池 | 避免IP封禁 | 成本较高 |
| 异步请求 | 提升性能 | 代码复杂度增加 |
| 无头浏览器 | 处理动态内容 | 资源消耗大 |
八、性能与工程实践
1. 性能优化策略
- 使用
requests.Session()重用TCP连接 - 启用多线程/异步处理（需使用
aiohttp等库） - 设置合理的请求间隔（如随机等待1-3秒）
- 使用缓存机制（如
httpcache库）
2. 异常处理机制
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
except requests.RequestException as e:
print(f"请求失败: {e}")
# 可添加重试机制
if retry_count < MAX_RETRIES:
retry_count += 1
time.sleep(1)3. 安全与合规
- 遵守网站的
robots.txt策略 - 设置合理的请求频率（建议每秒不超过1次）
- 避免爬取敏感数据（如用户隐私信息）
- 使用合法的爬虫框架（如Scrapy）
九、常见问题与踩坑
1. 请求被拒绝（403 Forbidden）
原因：服务器识别出爬虫请求
解决：
- 增加随机User-Agent
- 使用代理IP
- 添加 Referer 头部
2. 动态内容无法获取
原因：网页内容由JavaScript动态生成
解决：
- 使用Selenium或Playwright
- 检查开发者工具中的Network面板
3. IP被封禁
原因：频繁请求导致IP被封
解决：
- 使用代理池（如免费代理网站）
- 设置请求间隔
- 使用付费代理服务
4. 解析错误（如标签变化）
原因：网页结构发生变化
解决：
- 使用XPath定位节点（更稳定）
- 添加容错处理（如
get_text()前检查是否存在）
十、最佳实践
- 使用Session对象：重用TCP连接提升性能
- 设置合理的请求间隔：避免触发反爬机制
- 使用代理池：确保爬虫可持续运行
- 添加异常处理：提高程序健壮性
- 遵守robots.txt：避免法律风险
- 使用缓存机制：减少重复请求
- 选择合适的解析库：根据网页结构选择正则、BeautifulSoup或XPath
十一、总结
Python爬虫技术是数据获取的重要手段，但需要深入理解HTTP协议、反爬机制和性能优化。本文通过三个代码示例和一个完整案例，展示了从基础爬虫到动态内容处理的完整流程。在实际开发中，应根据具体需求选择合适的工具（如requests/Selenium/Playwright），并注意遵守法律规范和网站政策。
关键注意事项：
- 不要频繁请求同一资源
- 不要抓取敏感数据
- 不要违反网站的robots.txt
- 不要使用未授权的代理服务
爬虫技术的最终目标是高效、合法地获取数据，而非单纯追求数据量。开发者应始终关注技术细节与法律合规，才能在实际项目中取得成功。