使用Python进行Web抓取和爬虫
import requests
from bs4 import BeautifulSoup
# 发送HTTP请求
url = 'https://example.com/'
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取页面上的所有链接
for link in soup.find_all('a'):
print(link.get('href'))
# 请求失败处理
else:
print(f"请求网页失败，状态码: {response.status_code}")这段代码展示了如何使用Python的requests库发送HTTP GET请求，以及如何使用BeautifulSoup库解析HTML并提取页面中的链接。这是Web抓取和爬虫任务的基本步骤，适用于教育目的。在实际应用中，可能需要处理更复杂的情况，例如处理AJAX请求、应对反爬机制、处理分页、异常处理等。
评论已关闭