Python 爬虫：如何用 BeautifulSoup 爬取网页数据

作者：System 时间：2024年08月24日分类：所有,爬虫字数：578

这篇文章距离上次修改已过228天，其中的内容可能已经有所变动。

from urllib.request import urlopen
from bs4 import BeautifulSoup

# 目标网页URL
url = 'http://example.com/'

# 发送请求，获取网页内容
resp = urlopen(url)
html_content = resp.read()

# 解析网页内容，生成BeautifulSoup对象
soup = BeautifulSoup(html_content, 'html.parser')

# 提取数据
# 例如，提取所有的段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
    print(p.get_text())

# 例如，提取所有的链接地址
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

这段代码展示了如何使用urllib.request库来获取网页内容，并使用BeautifulSoup来解析网页，然后提取所有段落文本和链接地址。这是爬虫技术中的基本应用，适用于学习和小型数据抓取任务。

Python 爬虫：如何用 BeautifulSoup 爬取网页数据

评论已关闭

推荐阅读