网络爬虫抓取静态网页数据：原理、方法与实践

import requests
from bs4 import BeautifulSoup
 
# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
 
# 目标网页URL
url = 'http://example.com/some_page.html'
 
# 发送HTTP请求
response = requests.get(url, headers=headers)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析网页
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取网页数据
    # 假设我们要提取所有的段落文本
    paragraphs = soup.find_all('p')
    for p in paragraphs:
        print(p.get_text())
else:
    print("网页抓取失败，状态码:", response.status_code)
 

这段代码展示了如何使用Python的requests库和BeautifulSoup库来抓取一个静态网页的数据。首先，我们设置了请求头，以模拟浏览器的访问，然后我们发送一个GET请求到目标网页。如果请求成功，我们使用BeautifulSoup来解析网页，并提取所有段落标签的文本内容。这是一个简单的网页爬虫示例，适合作为初学者学习和实践。