Python 爬虫基础：利用 BeautifulSoup 解析网页内容




from urllib.request import urlopen
from bs4 import BeautifulSoup
 
# 打开网页
url = 'http://example.com/'
resp = urlopen(url)
html = resp.read()
 
# 解析网页
soup = BeautifulSoup(html, 'html.parser')
 
# 提取标题
title = soup.title.string
print(title)
 
# 提取所有的段落
paragraphs = soup.find_all('p')
for p in paragraphs:
    print(p.text)
 
# 提取特定类名的div
divs = soup.find_all('div', class_='my-class')
for div in divs:
    print(div.text)

这段代码演示了如何使用Python的urllib.request库来打开一个网页，并使用BeautifulSoup库来解析网页。然后，它提取了网页的标题、所有段落文字、以及特定类名的div中的文字内容。这是学习网页爬虫时的基本技能，对于理解和应用BeautifulSoup非常有帮助。

Python 爬虫基础：利用 BeautifulSoup 解析网页内容

评论已关闭

推荐阅读