Python 网络爬虫：HTML 基础知识

作者：System 时间：2024年08月16日分类：所有,爬虫字数：699

这篇文章距离上次修改已过241天，其中的内容可能已经有所变动。

# 导入所需模块
import requests
from bs4 import BeautifulSoup

# 发送网络请求获取页面内容
url = 'https://www.example.com'
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析页面内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 打印页面的HTML头部信息
    print(soup.prettify()[:1000])

    # 获取并打印标题
    print(soup.title.string)

    # 获取并打印所有的段落
    for p in soup.find_all('p'):
        print(p.text)
else:
    print("网络请求失败，状态码:", response.status_code)

这段代码使用了requests库来发送网络请求，获取网页内容，并使用BeautifulSoup库来解析HTML。然后，它打印了页面的前1000个字节以展示HTML的头部信息，标题，以及页面中的所有段落文本。如果请求失败，它会打印状态码。这个例子展示了如何开始使用Python进行网络爬虫，并且是理解和应用网页内容提取的基础。

Python 网络爬虫：HTML 基础知识

评论已关闭

推荐阅读