使用 Python 编写网络爬虫：从入门到实战
import requests
from bs4 import BeautifulSoup
# 定义一个简单的网络爬虫函数
def simple_crawler(url):
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 打印页面标题
print(soup.title.text)
else:
print(f"请求失败，状态码: {response.status_code}")
# 使用爬虫函数爬取一个网页
simple_crawler('https://www.example.com')这段代码展示了如何使用Python的requests库和BeautifulSoup库来编写一个简单的网络爬虫。函数simple_crawler接收一个URL，向该URL发送HTTP请求，并且如果请求成功，使用BeautifulSoup解析页面内容，打印页面标题。如果请求失败，则打印状态码。这是学习网络爬虫的一个基本例子。
评论已关闭