Python 爬虫 BeautifulSoup(bs4)库

BeautifulSoup是一个Python库，用于从HTML或XML文件中提取数据。以下是一个使用BeautifulSoup库的简单示例，该示例从一个网页下载HTML内容，并使用BeautifulSoup解析该内容以提取数据。

首先，你需要安装BeautifulSoup库，如果还没有安装，可以使用pip安装：

pip install beautifulsoup4

然后，你可以使用以下代码来提取网页数据：

import requests
from bs4 import BeautifulSoup
 
# 下载网页
url = 'http://example.com'
response = requests.get(url)
 
# 检查网页是否成功下载
if response.status_code == 200:
    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取数据
    # 例如，提取标题
    title = soup.title.text
    print(title)
    
    # 提取所有的段落
    paragraphs = soup.find_all('p')
    for p in paragraphs:
        print(p.text)
else:
    print("Failed to download the webpage")

这段代码首先使用requests库下载了一个网页，然后使用BeautifulSoup库解析HTML内容，并提取了标题和所有段落文字。你可以根据需要提取其他数据，例如提取所有的链接、图片或表格等。