Python-数据爬虫知识

在Python中，使用requests库和BeautifulSoup库可以创建一个简单的网页数据爬虫。以下是一个示例代码，用于从一个假设的网页中抓取所有的段落文本：

import requests
from bs4 import BeautifulSoup
 
# 目标网页URL
url = 'http://example.com'
 
# 发送HTTP请求
response = requests.get(url)
 
# 确保网页请求成功
if response.status_code == 200:
    # 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取所有的段落
    paragraphs = soup.find_all('p')
    
    # 打印每个段落的内容
    for p in paragraphs:
        print(p.get_text())
else:
    print("网页请求失败，状态码:", response.status_code)

确保在运行这段代码前已经安装了requests和beautifulsoup4库，可以使用以下命令安装：

pip install requests
pip install beautifulsoup4

这个简单的爬虫示例可以作为开始学习的起点，更复杂的数据爬取可能需要处理更多的情况，例如处理AJAX动态内容、处理登录认证、处理图片、视频等多媒体内容，以及遵守网站的爬虫政策等。