python爬虫-bs4详解--小林月

BeautifulSoup 是一个 Python 库，用于从 HTML 或 XML 文件中提取数据。它创建一个解析树，方便理解和解析网站的结构。

1. 导入库

首先，你需要导入 BeautifulSoup 库，以及用于请求网页的 requests 库。

from bs4 import BeautifulSoup
import requests

2. 获取网页内容

使用 requests 库获取目标网页的内容。

url = 'http://example.com'
r = requests.get(url)

3. 解析网页

使用 BeautifulSoup 解析网页内容。

soup = BeautifulSoup(r.text, 'html.parser')

4. 查找元素

使用 BeautifulSoup 的方法查找元素。

# 查找所有的 <a> 标签
links = soup.find_all('a')
 
# 查找 id 为 "link1" 的元素
link1 = soup.find(id='link1')
 
# 查找所有 class 包含 "highlighted" 的元素
highlighted = soup.find_all(class_='highlighted')
 
# 查找 <div> 标签中包含 "Hello" 文本的元素
hello_divs = soup.find_all('div', text='Hello')

5. 获取元素属性和内容

使用属性如 ['attr_name'] 获取属性值，使用 .text 获取标签内容。

# 获取链接地址
for link in links:
    print(link['href'])
 
# 获取标签内文本
for div in soup.find_all('div'):
    print(div.text)

6. 使用CSS选择器

BeautifulSoup 4.7.1 版本开始支持 CSS 选择器，可以使用 .select() 方法。

# 使用 CSS 选择器查找
divs = soup.select('div.highlighted')

以上是 BeautifulSoup 的基本使用方法，具体使用时需要根据网页的结构和需求进行调整。